Nếu như Nhà trắng, nơi ở và làm việc của Tổng thống nằm ở bờ phía bắc của dòng Potomac thì Lầu năm góc gần như nằm ở phía đối diện ở bờ phía nam của con sông này. Nếu nhìn từ trên cao, toàn thể tòa nhà sẽ giống như một khối ngũ giác khổng lồ. Đây chính là lý do vì sao trụ sở của Bộ Quốc phòng Mỹ lại có tên gọi là Lầu năm góc hay Ngũ giác đài.