徐闻县位于雷州半岛南端。三面环海，巨浪滔滔，涛声震荡，徐徐而闻。这就是“徐闻”一名的起因。

但也有人把“徐闻”释为“缓缓而闻”，“慢慢听来”，说徐闻是悬海之地（一说土尾之地），遥在海角天涯远离京都，讯息杳茫，皇上之旨全国尽知之，唯有南蛮小邑徐徐而闻，故徐闻由此得名。其实这种说法，是不令人信服的。早在二千多年以前的汉代，徐闻就以“海上丝绸之路”的始发港闻名于世界，不少中外船只在此停靠，补充淡水、食物和货物，不少商人在此进行交易，故谚曰：“欲拔贫，诣徐闻。”这说明古代徐闻的地理位置十分重要，对中外商人有很大的吸引力。这怎能说“讯息杳茫”，“慢慢而闻”呢？

然而，徐闻自汉元鼎间建制以来，距今已有二千多年的历史。其邑名随着历史的发展，朝代的变迁，城池的兴废而多次变更。因而出了种种有趣的传说：

曾有人说，徐闻，地悬海外，三面环海，形似一叶靠岸的小船。而徐闻城中的登云塔高高耸立，正如“桅杆”揭起；城西递角场上的断头台好比“船橄”，大有扬帆出海，徐徐启航之势，而海浪拍击之声又徐徐而闻，故徐邑由此得名，谓其“徐闻”。

还有一段神话般的传说。在很古以前，有同馆同师的兄妹俩，兄姓徐，妹姓闻。他们同馆习武，武功超群，骁勇过人，情深义重。一日，兄妹双双外出狩猎，凭他们的武功和勇气打死了一只老虎。此事，民众获悉，纷来祝贺。兴奋之余则抬着老虎，拥着兄妹前往县衙报喜、领赏。其时，有一太守的公子见了眼红而寻衅取闹，硬说那只老虎是他家喂养的，要兄妹赔偿其命。话还未说完则大弄拳脚，每日过三五回合，那蛮公子则一败涂地。蛮公子败不服气，随即招来兵丁。在众寡悬殊的情况下，兄妹惨死于蛮公子的手下。众见之不平，便将兄妹的尸首埋于宾朴山（现徐闻城北）中并立碑纪念他们，碑曰：“徐闻”。

正巧，朝廷拨银建县治（早先兼为府治）。起初，县址择地于海滨讨网村。施工时，由于粗心大意的木匠把衙门的大梁裁短了，他们怕受治罪，便连夜把那大梁搬往宾朴山中隐藏，且扬其言：“大梁飞掉了”。县官感到奇怪，派员四出寻找。正好在宾朴山的“徐闻”的坟地旁边找到。县官认为这是“吉祥之兆”，于是，便把县址迁于宾朴，并命县名为“徐闻”。