Bài thơ chưa rõ tác giả là ai và có nhiều lời kể về sự ra đời của bài thơ, trong đó truyền thuyết được nhiều người tin tưởng nhất kể như sau: Năm 1077, quân Tống do Quách Quỳ chỉ huy xâm lược nước ta. Vua Lí Nhân Tông sai Lí Thường Kiệt đem quân chặn giặc ở phòng tuyến sông Như Nguyệt, bỗng một đêm, quân sĩ nghe từ trong đền thờ hai anh em Trương Hống và Trương Hát có tiếng ngâm bài thơ này