Kita sering mendengar Doa Taubat yang didendangkan oleh pelajar-pelajar Madrasah Aljunied. Jom kita mengetahui serba sedikit mengenai sejarah Madrasah AlJunied. Pengasasnya ialahSyed Omar bin Ali Al Junied ialah seorang pedagang Arab yang datang berdagang dari Palembang ke Singapura.Beliau merupakan seorang yang amat disegani, belaiu telah disayangi oleh Raja Muda Melayu. Syed Omar dikatakan merupakan seorang yang berketurunan Nabi Muhammad SAW. Beliau adalah anak saudara lelaki kepada Syed Mohammed bin Harun Al Junied, yang juga datang dari Palembang ke Singapura beberapa hari sebelum peristiwa Singapura ke arah kemodenan bermula pada tahun 1819. Syed Omar ialah seorang ahli filantropi dan merupakan seorang hartawan yang dermawan. Beliau telah mewakafkan suatu plot tanah yang cukup besar untuk kegunaan Makam Perkuburan Muslim diVictoria Street dan membina Masjid yang dinamai Masjid Al-Junied di Bencoolen Street. Tapak dimana berdirinya Gereja St Andrews sebenarnya turut diberikan oleh beliau bagi mengeratkan hubungan antara penganut beragama Kristian. Beliau dan keluarganya telah memberi sumbangan yang cukup besar dalam pembinaan Hospital Tan Tock Seng. Syed Omar bin Ali Al Junied (meninggal dunia pada tahun 1852).
Dalam tahun 1927, seorang daripada keturunannya yang bernama Syed Abdul Rahman Aljunied, telah membinaMadrasah Aljunied Al-Islamiah berdekatan dengan Makam Syed Omar yang terletak di Victoria Road. Madrasah Aljunied merupakan salah satu pusat pengajian Islam yang telah berjaya melahirkan ramai tokoh ilmuwan Islam dan pemikir falsafah yang terkenal dan handal dalam ilmu pemikiran, fiqh, tasawuf dan pelbagai lagi dalam bidang pengajian Islam yang lain.