Masjid Sultan Idris Shah II telah dirasmikan pada 15 September 1978 oleh Sultan ldris Iskandar Shah II (Sultan Perak ke 33) sempena sambutan ulangtahun hari keputeraan baginda yang ke 33. Masjid ini terletak di atas sebidang tanah seluas kira-kira 2.6 hektar di tengah-tengah bandaraya Ipoh.
Kerja-kerja pembinaan Masjid Sultan Idris Shah II telah dimulakan sejak pada 16 Mei 1966 lagi dan batu asas telah diletakkan pada 27 Oktober 1967 oleh Allahyarham Tun Haji Abdul Razak (Perdana Menteri Malaysia ke 2) yang mana pada ketika itu beliau adalah Timbalan Perdana Menteri.
Masjid ini siap dibina pada 26 Ogos 1968. Pada mulanya, masjid ini dinamakan sebagai Masjid Negeri Perak dan akhirnya digelarkan sebagai Masjid Sultan Idris Shah II sempena nama Sultan Idris Iskandar Shah II yang telah kembali ke rahmatullah pada tahun 1984.
Idea pembinaan masjid ini asalnya daripada Allahyarham Orang Kaya-Kaya Panglima Bukit Gantang Seri Amar Diraja Abdul Wahab pada tahun 1951. Beliau yang pada masa itu adalah Menteri Besar negeri Perak telah sedar bahawa masjid-masjid yang sedia ada di lpoh tidak mencukupi.
Untuk memuatkan semua jemaah yang ingin menunaikan ibadah wajib pada satu-satu masa seperti sembahyang Jumaat, sembahyang perayaan dan lain-lain lagi, jadi timbul lah idea untuk membina Masjid Sultan Idris Shah II. Jumlah kos perbelanjaan pembinaannya ialah RM1,840,000.00.
Masjid ini berbentuk empat persegi bujur dengan panjangnya 84 meter serta lebarnya 42 meter. Masjid Sultan Idris Shah II ini ada dua tingkat yang mana tingkat atas bangunan ini diliputi oleh kisi-kisi terrazzo yang berselirat dengan telepok-telepok tradisi lslam.
Di sekeliling masjid juga teratur tentulang-tentulang terrazzo yang panjang lampai. Pada asalnya, atap dewan jemaah besar telah dibina dengan konkrit bertulang yang bertebok dengan 44 buah lubang persegi untuk mengeluarkan hawa panas namun hari ini semua lubang tersebut telahpun ditutup apabila dewan dipasangkan hawa dingin pada tahun 1995.
Lubang-lubang ini dipayungkan pula dengan 30 buah kubah-kubah gelembong dan 14 buah kubah-kubah leper dan dihiasi dengan cermin beranika warna. Kubah-kubah ini mengelilingi sebuah kubah besar yang terletak di tengah-tengah dewan jemaah besar. Kubah besar ini mempunyai lebar sebesar 10.3 meter dari lantai. Segala kubah ini kelihatan dari luar tersusun dengan indahnya dan bersinaran di bawah cahaya matahari.
Dewan jemaah besar berbentuk empat persegi dan lebarnya ialah 36 meter dan boleh memuat lebih kurang 1,500 orang. Lantainya berlapik dengan permaidani yang berbelang menunjukkan saf-saf sembahyang. Di pintu masuk dan di dinding mehrab terdapat tulisan ayat-ayat suci.
Dewan kecil yang ada pula berukuran lebih kurang 36 meter panjang dan 12 meter lebar. Ia boleh memuat kira-kira 500 orang dan ia dikhaskan untuk kaum wanita dan juga digunakan sebagai tempat mengaji serta tempat mengadakan ceramah agama.
Menara masjid ini tersulur dari tanah setinggi 31 meter ke kemuncaknya dan dilengkapi dengan tangga besi dan lif untuk muatan 6 orang. Pemandangan yang permai dari atas menara ini meliputi seluruh kawasan bandaraya Ipoh. Empat buah pembesar suara telah dipasang di bawah bumbungnya.
Masjid Sultan Idris Shah II yang terletak berhadapan Stesen Keretapi Ipoh merupakan salah satu binaan terkemuka di Bandaraya Ipoh. Seni binanya indah, menjadi lambang kemegahan ketamadunan Islam di Perak.