英國在割取九龍半島之後,派大量印度士兵在此駐守,其中包括許多信仰伊斯蘭教的穆斯林。他們申請了一個地方供日常宗教活動。1890年,政府同意在柯士甸道和彌敦道交界處提供臨時場所,1896年建起清真寺。據兩位老人講,最初修建的清真寺是沿用印度伊斯蘭建築風格,主要出資人是駐軍和他們的上司。當然,當時前來清真寺禮拜的是不同身份的印度穆斯林,如員警、海軍、監獄警衛、船廠警衛、管理員、銀行文員等。這些印度穆斯林以這個清真寺為依託,還成立了伊斯蘭國際信託組織(Board of Trustee)和香港伊斯蘭文化中心,伊斯蘭文化藉此漸漸在香港傳播開來。