北宋建隆年間，沙門島(今廟島)是朝廷囚禁犯人的地方，從建隆三年開始，凡軍人犯了法，都發配沙門島。這樣年複一年，島上犯人越來越多。但朝廷每年只撥給全島三百人的口糧，所以糧食越來越不夠吃。

后來，沙門島看守頭目李慶便想了個狠毒辦法：當犯人超過三百時，便將其中一些捆住手腳，扔進海里淹死，使島上犯人總是保持在三百人內，如此被殺的，兩年內就達七百余人，爲了活命，犯人們經常跳海凫水逃命，但絕大部分都被激浪吞沒，一次，有五十多名囚犯得到即將被殺的消息，便趁著天晴月朗，避開看守，抱著葫蘆、木頭跳入海中，往蓬萊山方向遊去。

從沙門島到蓬萊約三十里之遙，途中多數犯人體力不支淹死水中，只剩下八名身懷武功、體格健壯的善遊者，借著水流遊到了岸邊，在蓬萊城北丹崖山下的獅子洞內躲了起來。第二天，漁民發現了他們，當聞知八人從沙門島遊水越海而來，無不驚奇萬分，把他們稱作“神人”，此事便在民間傳開了，並且越傳越神，他們被傳稱爲“八仙”，演變成今天的“八仙過海”的故事。