Nhà Rồng được khởi công xây dựng ngày 4 tháng 3 năm 1863, do "Công ty vận tải đường biển" xây cất để làm nơi ở cho viên Tổng quản lý và nơi bán vé tàu. Nóc nhà gắn hình rồng, ở giữa thay vì trái châu thì là chiếc phù hiệu mang hình "Đầu ngựa và chiếc mỏ neo". Phù hiệu "Đầu ngựa" hàm chỉ thời trước bên Pháp, công ty này chuyên lãnh chở đường bộ với ngựa kéo xe, còn "Mỏ neo" tượng trưng cho tàu thuyền. Trụ sở công ty được giới bình dân gọi là Nhà Rồng, có nhiều thuyết về cái tên này: có thuyết nói rằng vì có gắn đôi rồng lớn bằng đất nung tráng men xanh trên nóc nhà, một thuyết khác cho rằng khác là Nhà Rồng có nghĩa là Gia Long với Nhà là Gia, Rồng là Long, bến Nhà Rồng được người Pháp đặt để nhớ tới quan hệ của vua Gia Long với nước Pháp.Người lớn tuổi gọi tên là Sở Ông Năm, vì hãng tàu biển này do quan năm Pháp Domergue đứng ra sáng lập.