这个传说很早便在齐国王室贵族之间流传。
可惜不只是当初姜子牙刻意隐瞒了与此有关的信息，还是相关的信息失传，谁也说不清楚这座岛究竟在什么地方，那令姜子牙长命百岁的仙药又究竟是什么东西。
事实上。
当年姜姓吕氏执掌齐国的时候，王室便已经命人出海进行了多次寻找祖洲的行动，那是齐国便已经发现了远在海外的倭国，甚至一度将其当做祖洲，并将倭国的那座最大的白雪皑皑的活火山当做了扶桑树，却并未在倭国发现能够令人延年益寿的仙药。
祖洲，始终是传说中的祖洲。
如此一直到了田氏取代吕氏执掌齐国的时期，最后一任吕氏齐王齐康公吕贷被田氏放逐在了当时不见人烟的海岛郁洲山上，并且剥夺了吕贷的食邑。
吕贷自此生活困苦，只能与家卷在岛上打鱼赶海为生。
而徐福的祖先当初也在朐县隐居，因曾受吕氏恩惠，于是常常暗中派人出海前往郁洲山为吕贷送些食物与衣物。
一来二去，双方便熟络了起来。
如此过了好几年，一日徐福的祖先再去郁洲山，却见吕贷失魂落魄，原来是他的一个生性倔强的儿子贪玩，不慎进入了退潮之后露出的“鬼洞”，如今海水已经涨起淹没了“鬼洞”入口，那孩子八成是凶多吉少了。
也是这个时候，徐家才知道郁洲山下的海中竟有这样一个“鬼洞”，却也只能劝吕贷节哀顺变，并协助吕贷为那个孩子修建了一座简陋的衣冠冢。
转眼间此事便过去了十几年。
一日徐福的祖先再去郁洲山时，却见吕贷家中多了一个年轻人。
徐福的祖先好奇询问年轻人的身份，吕贷却搪塞说他只是一个远道而来的故交，徐福的祖先不方便多问，却始终觉得这个年轻人眼熟，离开郁洲山时又赫然发现十多年前为吕贷失踪的那个孩子修建的衣冠冢不知何时竟被填平了。
最重要的是，那个年轻人自此便在郁洲山上住了下来，帮助吕贷打鱼赶海，甚至有一次，徐福的先祖还在无意间听到那个年轻人将吕贷称作父王。
也是这时，徐福的先祖才勐然醒悟。
难怪一直觉得这个年轻人十分眼熟，尤其眉眼之间还与吕贷有几分相像……此人该不会就是吕贷那个十多年前进入“鬼洞”的儿子吧？
此事令徐福的先祖感到惊奇，于是便将其记了下来。
后来再过几年，吕贷因病去世，徐福的先祖还曾前去悼念，协助吕贷仅有的几个家卷在郁洲山上下葬。
不久之后徐福的先祖再上岛时，才发现吕贷的家卷已经不知所踪，只留下几间空荡荡的石屋，还有吕贷那座孤零零的坟包。
自此徐家先祖便再也没有见过这几名家卷。