樃梅祠，全稱“樃梅仙翁祠”，位於烏鴉嶺通往金頂的路上，在南巖對面，明永樂十年敕建，是當年全山十六座祠廟中最大的一處，現存磚石結構正殿和配殿、廂房、山門、宮墻等。
李素希，字幽巖，號明始，生於元代，元末棄家入武當，住五龍頂，好讀《周易》《道德經》。明洪武初年度為道士，住持五龍宮。後退隱於自然庵。永樂三年(1405)，忽見古榔梅樹開花結果，知為豐年之兆，遣道士易本中等獻貢朝廷，賜銀40錠；次年榔梅樹又結實，再進貢，又得賞銀40錠。同年詔素希進京問理國治身之道。禮待甚厚。羽化後碑存今五龍宮。他是明代武當山的著名道人。
李素希在元朝末年棄家入武當，住五龍頂，好讀《周易》《道德經》。明洪武初年度為道士，住持五龍宮。在武當山衰敗到了極點的時候，他兩次將榔梅果上貢朝廷，永樂皇帝朱棣大喜，賜予重賞。這也讓朱棣找到了一個“君權神授”的絕佳理由，從此拉開了明朝大規模建設武當山序幕。
朱棣大修武當山時，在一塊聖旨碑上留下了這樣一句話：父皇之所以能夠得天下，是玄武帝顯靈護佑的結果。這種對玄武神的崇奉很快傳到了遠在武當山的李素希耳中。他的師兄邱玄清被朝廷看重，被選拔到京城擔任監察御史。送走了師兄以後，李素希對未來充滿了希望。果然，不到5年的時間，邱玄清就從正七品的職位升為正三品的太常寺卿，這是武當道人所得到的最高官職。
永樂三年(1405年)，武當山發生了一件驚天動地的大事：多年未開花結果的榔梅樹竟然繁花似錦，果滿枝頭。李素希認為機會難得，親自動手寫了一篇奏章，對朱棣極盡讚美之能事，把朱棣鼓吹成“真龍天子”，把他謀權篡位的行徑說成“精誠感格，祝厘國家，故能動高真降此嘉祥，以兆豐禳[ráng]也”。李素希擇吉日派遣自己的親信弟子易本中帶上精心包裝的榔梅果和親手寫就的奏章，赴京城向朱棣進獻“祥瑞”。朱棣聞訊，大為高興，賜銀40錠，並賞賜李素希正五品官印。
1424年，武當山歷經12年，九宮八觀33處建築群全部完工。從此武當山被尊為皇定家廟達到最輝煌鼎盛的時期。所以說道長李素希為武當山的建造做出了很大的貢獻，是武當山的一大功臣。永樂皇帝下旨，封李素希為“樃梅真人”。
武當以真武神君為尊，樃梅祠與真武大帝修煉的傳說有著密切的聯系。相傳，真武大帝修煉時，由於意志不堅，中途準備下山，半路上遇到紫氣元君化做老婆婆用鐵杵磨針點化他。真武大帝返回山中繼續修煉，經過此處時折下一段梅枝插在樃樹上，說：“吾若道成，花開結果。”後來，他修煉成功，梅枝果然在樃樹上插栽成活，並開花結果。據說，人吃後祛病壓災、延年益壽。關於樃梅樹開花的情景，明朝魏良輔有詩一首：
“凍梅偷暖著枯芽，石徑雲封第幾家。雪色風香由議會，青鸞御出過墻花。”
武當山曾產“樃梅仙果”確有其事，樃梅是武當山稀有植物之一。武當山有一種獨特的植物，叫樃梅。可能是鳥銜各種果實在榔樹上吃，梅核落入榔樹裂縫中，不意生根發芽，使榔樹發生變異，果實味道奇美，古人稱之為樃梅仙果。
榔梅果不僅甘甜可口，還能療疾延壽。皇帝下旨嚴加保護，並欽定為貢果。兩百多年來，榔梅果一直專供皇室享用。皇帝有時也將榔梅果獎勵給有功之臣，致使朝廷大臣將得到榔梅賞賜視為終身榮耀。
明代著名地理學家徐霞客來武當考察旅遊，曾在《遊太和山日記》中寫道：“樃梅祠，與南巖對峙，前有榔梅樹特大，赤幹聳立，花色深淺如桃杏，蒂垂絲作海棠狀。果形侔金桔，味似蜂蜜，金相玉質，非凡品也。”他品嘗後，還向道士求要幾枚帶回家為老母祝壽。明代著名醫學家李時珍在《本草綱目》中記載：榔梅，只出均州太和山。徐霞客在遊覽武當山後，形容榔梅開花時“花色浮空，映山絢麗。”
但是到了清朝，不知什麽原因，武當山的榔梅樹就已經完全絕跡，許多人遍訪武當尋找榔梅，但都是掃興而歸，只留下“惆悵依荒巖”的遺憾。
值得慶幸的是，明嘉靖五年，安徽齊雲山道士訪武當山時，武當道教作為貴重禮品將榔梅樹贈予齊雲山。1998年，武當山將榔梅樹從齊雲山引回，栽植在榔梅祠旁。
希望不久的將來，武當榔梅會再現，“花色浮空，映山絢麗”的景觀。