Ngay sau khi xâm chiếm được Nam kỳ, người Pháp đã lập ra một số nông trại nhằm nuôi ngựa giống Ả rập hoặc trồng thí nghiệm giống lúa Miến điện tại Sài Gòn nhưng đều thất bại.
Tháng 3 năm 1864, ông Louis Adolphe Germain, một thú y sĩ thuộc quân đội viễn chinh Pháp được giao nhiệm vụ thanh lý các nông trại trên và biến vùng đất còn hoang sơ ở phía đông bắc kênh L'Avanche, giới hạn bởi công xưởng Hải quân rộng 12 ha thành một vườn thực vật. Chính ông là người đã vạch ra những đường đi đầu tiên, quy hoạch và thiết kế những khu vực ươm trồng cây, xây dựng một số chuồng trại đồng thời thông báo yêu cầu những người có thiện chí gửi đến những loài động vật địa phương.
Một năm sau, công trình được hoàn thành vào tháng 3 năm 1865, chính quyền Đông Dương mời ông J.B. Louis Pierre, người phụ trách chăm sóc thực vật của vườn Bách thảo Calcutta (Ấn độ) về làm Giám đốc cho tới năm 1877 ông quay về Pháp. Nhiệm vụ đầu tiên đặt ra cho Pierre là sưu tập các loài thực vật, động vật của Nam kỳ và của ba nước Đông Dương để chuyển về viện Bao tàng lịch sử thiên nhiên Paris; đồng thời du nhập các giống cây có giá trị kinh tế trồng thử nghiệm, từ đó chọn những cây thích nghi để nhân rộng ra.
Chính thức ngày kỷ niệm thành lập TCVSG là 23/03.
