Idea penubuhan Sekolah Rendah Islam (SRI) Ar Rahmah telah dicetuskan oleh Tn. Hj. Mohd Diah Abdul dan disokong sepenuhnya oleh Almarhum Tn. Guru Dato’ Dr. Haron Din dan Tn. Hj. Abd Rahman Ahmad serta beberapa orang sahabatnya yang sama-sama mencintai ilmu dan hal-hal berkaitan dengan pendidikan anak bangsa. Pada peringkat awal, SRI Ar Rahmah yang dahulu dikenali sebagai SRI Al-Rahmat, ditubuhkan pada tahun 1992 di atas sebidang tanah yang berdekatan dengan Surau Kampung Solok Gaung. Ia telah beroperasi selama 23 tahun (1992-2015) di tapak yang sama sehinggalah sempurna pembinaan Kompleks Pendidikan Ar Rahmah pada tahun 2016. SRI Ar Rahmah adalah sekolah swasta yang berdaftar di bawah Institusi Pendidikan Islam Swasta di bawah JAIM/Jakim dengan nombor pendaftaran IPIS MJJ 2005. SRI Ar Rahmah telah beroperasi sepenuhnya di Kompleks Pendidikan Ar Rahmah sejak tahun 2016 hingga sekarang.