Tương truyền ông tên là Lộ (路) con của quan Đô sát Từ Vinh và bà Tăng Thị Loan. Do Từ Vinh bị giết bởi một pháp sư có tên là Đại Điên, Từ Lộ đã có ý đi sang Tây Thiên tu luyện phép thuật giết Đại Điên để trả thù cho cha nhưng đi nửa đường đã quay lại và chọn núi Sài Sơn chùa Phật Tích để tu hành. Ngài chuyên trì kinh "Đại Bi Tâm Đà La Ni" của đức Quán thế Âm tới khi cảm ứng, có vị thần tự xưng Trấn Thiên vương hiện lên và xin làm đệ tử để cho ngài sai khiến. Sau đó ngài dùng gậy đánh chết Đại Điên.

Đại Điên cũng là người tu hành nên sau đó tái sinh làm đứa trẻ, tuy 3 tuổi mà chuyện gì cũng biết, được gọi là Giác Hoàng. Vua Lý Nhân Tông biết chuyện kỳ lạ bèn đón về Kinh Sư cho nó ở chùa Báo Thiên. Vua muốn nhận đứa trẻ làm con nhưng quần thần và dân chúng không nghe, nên vua lập đàn cầu nguyện pháp hội kéo dài 7 ngày để đứa trẻ linh dị kia đầu thai trở lại vào nơi cung cấm!

Từ Đạo Hạnh biết đứa bé là Đại Điên đầu thai để mê hoặc quần chúng, rối loạn chính pháp nên nhờ người chị mang lá bùa của mình, giả làm người đi xem hội rồi treo ở tấm rèm của đứa bé. Tới ngày thứ ba của pháp hội, đứa bé Giác Hoàng bị ốm và nói: "Khắp biên giới trong nước đều có lưới sắt vây che, tuy muốn thác sinh nhưng không có lối". Sau đó đứa bé chết, Lý Nhân Tông truy ra và bắt Từ Đạo Hạnh đem về Hưng Thánh lâu.

Từ Đạo Hạnh xin với em vua là Sùng Hiền Hầu cứu thoát và hứa sẽ làm con của Hầu để trả ơn, tuy nhiên phải báo cho sư biết trước khi vợ của Hầu sắp sinh. Đạo Hạnh dặn rằng: "Bao giờ phu nhân sắp đến ngày sinh thì báo cho tôi biết trước để cầu khấn với sơn thần".

Lại nói chuyện năm xưa đi cầu đạo cùng 2 người bạn Nguyễn Minh Không và Giác Hải, Từ Đạo Hạnh từng có lúc biến ra con hổ để dọa Nguyễn Minh Không, bị Nguyễn Minh Không nhắc nhở, Từ Đạo Hạnh ăn năn và biết kiếp sau sẽ bị hóa hổ nên nhờ Nguyễn Minh Không khi đó ra tay giúp chữa trị.