龍山寺歷史久遠，據傳建於清康熙五十四年(一七一五)，係明末鄭成功復台時由先人自福建泉州府安海龍山寺，分香到原東門城內建寺奉祀。乾隆年間蔣公子(蔣元焄)主持重修，當時為 台南府城七寺八廟之一。
乾隆五十四年(一七八九)當地士紳重修一次，道光二十三年(一八四三)再重修一次。日據昭和二年(一九二七)因市區改正，被迫遷移，由管理人許董其、許朝成、蔡添幅、劉王等四人同意，並由蔡玉霞發起募捐，遷移至現址重建。
民國三十八年國府裝甲軍隊眷屬居住於寺中，四十二年七月三日由程榮、蔡玉霞、黃天石、蔡福生、馮舜等五居士，聘請開亨尼師前來住持，住持於是向有關方面陳情，並補貼眷屬，終於在民國四十五年十二月遷出。
現龍山寺寺前仍有台南市政府立編號 三九號的古蹟編號，內容如下：
「創建年代：清康熙五十四(公元一七一五)。沿革：始建於康熙五十四年以老古石建之，雍正、乾隆年間均有整修，據傳云於乾隆年間出蔣公子主持重建，民國十六年因拓寬街道遷建現址。」
現在的龍山寺是在民國七十年重建落成的，為三層樓高的宮殿式建築。
龍山寺有兩塊匾額年代久遠頗有可觀，分別是由信官羅勇敬獻於乾隆戌年(一七九0)仲夏的「慈德配天」匾，以及題於道光丁末年(一八四七)瑞月的「龍山寺」匾。
首任開山住持開亨尼師，清光緒二十一年生(一八九五)，台北市人，俗名邱儼，國校畢業後於台南市彌陀寺出家，後受戒於白河碧雲寺，民國四十二年住持龍山寺，民國七十四年前後往生。