全台白龍庵是公認最早的五靈公廟宇，為清道光年間福州籍官兵所建，專門是由官兵及其家屬供奉朝拜的蠻有系統的廟宇。
而西來庵以前在亭仔腳街時是一間扶鸞（問事）的處所，為原白龍庵民建的鸞堂，以劉部堂為主宰，因此古時候西來庵的劉部常被稱作「亭仔腳王爺」。
而且余清芳事件（即西來庵事件，或稱焦吧哖事件）後，在府城台南裡就盛行著流傳一則諺語：「余清芳害死王爺公，王爺公沒保庇，害死蘇阿志，蘇阿志沒仁義，害死鄭阿利」。
其中所說的「王爺公」就是指西來庵劉部靈公，蘇阿志是指西來庵董事蘇有志，鄭阿利則是指鄭利記。
但全台西來庵簡介中的版本這樣的
清中葉有平陽縣人來台經商，祈求五部靈公香火護身，一日至台南東坊，行至亭仔腳街，忽覺肚滾絞痛，將香火掛在樹上往林投解便，起身後行走竟忘將掛於樹枝香火取去。香火常在此顯靈救人，香火包寫西來庵五福大帝並寫五部靈公神名。地方信士，遂募捐就地買地建廟，照香火所寫稱「西來庵五部靈公五福大帝」，並照福州神像雕刻五尊供奉，神靈顯赫，救世祈禳，其應驗，香火日盛，廟宇擴建規模，佔地一百二十餘坪，廟中設有金鑾堂，日夜鑾生集中辦事。
西來庵係抗日策劃中心，且稱神詔招募抗日群眾，因被日警下令拆除。被拆建材由本市安平路神興宮廟購充為重建建材。佛案、供桌、香爐、燭臺等法具送去嶽帝廟。所祀之五尊神像則用牛車搬運到孔子廟前令燒毀。 相傳當時信徒齊跪懇求免燒再三，日警允許四支竹插在四角頭，四周相隔一丈左右劃界線，不許人進入，將神輿綁起懸空，限三晝夜發動，若不動不准再懇求。 信眾屈膝下跪，祈禱宣靈公劉元達威靈顯赫降駕。日警與信徒二晝夜不眠不休固守毫無動靜。直至三日早晨奇蹟發生，二隻狗相咬闖入竹圍內撞著神輿，神輿竟然發動不停。日警請有關機關及警察署長臨場監檢認定，遂依若言，允許宣靈公劉元達神像免焚。
自西來庵事件後，台南鮮少人再提起西來庵，甚至認為，西來庵最早的五部靈公開基神尊，已於當時在孔子廟焚毀。而自台灣光復後的今天，包括西來庵，以及一般信徒，都很少人知道，其實西來庵開基五部靈公，已於日警拆廟毀神前一夜，由信徒連夜送至『竹溪寺』。而於正興街重建之時，開基五部靈公也由竹溪寺返回參與盛典，而今西來庵開基五部靈公，仍存放於竹溪寺後殿，與地藏王菩薩同祀，成為佛寺祭祀道神的奇觀。而目前西來庵的開基劉部及鎮殿前那組五尊軟身五福大帝（其中的劉部是「紅面‧惡臉」形象，相當與眾不同）應該是民國42年於正興街重建後才再行雕塑的。
另外有關西來庵五福大帝八部堂的說法，是原先的「張、鍾、劉、史、趙」五部，再加上「田、牛、雷」三部，據聞這三位是劉部靈公的師兄弟。而其中的雷部聽說是是五福大帝駕前家將中刑具爺，其神像有被雕成像雷公的鳥嘴造型，也有被成如雷府千歲-雷萬春將軍一樣的金身。
西來庵址依明治四十一年五月二十八日土地台帳之登記，所有人為西來庵，管理人蔣襟三，
坐落「丁八七番地」，土地被充公沒收。
一九一九年（日大正八年）坐落變更為「清水町二丁目四○番地」
一九二四年（日大正十三年）登記為台南市所有
一九三三年（昭和八年）登記為有限責任台南州購買組合所有
一九四四年（昭和十九年）登記為台灣食糧營團所所有
一九四五年台灣光復，接收為國有，以台灣省政府財政廳為管理機關、並將清水町，
改為清水段二小段。
民國三十五年七月，由陳坤玉、王湘湖等承買。
民國四十五年五月，由洪廖阿淑、許文德等承買。
民國四十五年六月由財團法人台北教會會所承賣。現建五層樓之基督教復臨安日會及
台南教會第一會所。
西來庵被拆毀，日治時期台南市民噤若寒蟬，不敢言談西來庵。倖存之宣靈公劉元達神像由信徒供奉於私家，偷偷膜拜。台灣光復始於正興街五十號搭蓋小廟並速塑神像。民國八十一年正興街拓寬，廟被拆，而遷於同街二十七號，係借民屋為行館，而倖存之宣靈公木雕神像為鎮殿，而後於民國九十年才遷到大港寮的大興街購地重建。
全 台 西 來 庵 事 件 及 五 福 大 帝 典 故
西來庵創建於清道光年間，由福建省福州白龍庵奉請香火，始建
廟於亭仔腳(現今青年路121~123號地坪130坪)。後因西來庵事件(噍
吧哖事件)抗日烈士余清芳、蘇有志、羅俊、江定、鄭利記、陳清
吉，等以西來庵為抗日根據地，於民國四年被日據政府拆毀殆盡，
廟地亦被沒收充公，台灣光復後地方信徒募資重建廟宇在牛磨後
(正興街50號)，民國四十二年國曆四月，因正興街道路拓寬，配
合政府政策拆除，暫奉於正興街27號。而於民國九十年國曆三月
十日亥時入廟安座大典， 也就是現址：台南市大興街178號
西來庵因西來庵事件(噍吧哖事件)受到牽連，廟宇被拆毀，廟地被
充公，神像也被命令焚燬，眾信徒屈膝懇求不准，同氣一再相求，
幸得允許用四支竹插在四角頭，將神輿縛起懸空，限三天三夜內發
動，如不動，決定焚化之。眾信徒懇求五福大帝劉主公威靈顯赫降
駕，經過二天二夜，全無動靜。第三天早晨奇蹟出現，二隻狗相咬
撞神輿，神輿起駕發動無停，有關機關併警察局長監檢認定，照其
諾言免焚燬，足見劉主公神靈顯赫。
余清芳失敗，連累不少無辜亦有完成宿願，壯烈成仁，名留青史。
留有歌詞：「余清芳害死王爺公，王爺公無保庇，害死蘇有志」。