Penjara Taiping telah dibina pada tahun 1879 semasa zaman pentadbiran Sir Hugh Low yang merupakan residen British ketiga di Negeri Perak. Pada tahun 1879 hinga ke tahun 1960, pentadbiran Penjara Taiping berada di bawah pengurusan pegawai Inggeris.
Kompleks Penjara Taiping yang ditubuhkan pada tahun 1879 ini adalah merupakan kompleks penjara yang pertama dan kompleks penjara moden yang paling tua di Malaysia.
Pada waktu itu semasa penubuhannya, inilah penjara yang paling besar di Malaysia. Penjara Taiping telah dibina di atas tanah bentang dengan seluas 5.159 hektar.
Segala pembinaan adalah dengan menggunakan tenaga buruh secara paksaan yang terdiri daripada tahanan perang atau banduan yang dibawa masuk dari India dan Afrika.
Bahan-bahan binaan untuk mendirikan kompleks penjara pertama di Malaysia ini pula diimport dari England melalui Syarikat Hindia Timur Inggeris.
Tujuan utama Penjara Taiping dibina pada waktu itu adalah untuk memenjarakan ahli kumpulan kongsi gelap Ghee Hin dan Hai San dan secara tidak lansung, ia juga adalah untuk memenjarakan pembesar-pembesar Melayu yang menentang dasar penjajahan Inggeris dan penjenayah-penjenayah yang lain seperti perompak, pencuri, pembunuh dan sesiapa sahaja yang melanggar undang-undang yang telah ditetapkan.
Struktur fizikal awal kompleks penjara tersebut terdiri daripada pagar kayu setinggi 9 kaki dan 5 buah bangunan yang diperbuat daripada separuh batu-bata yang bersambung di antara satu sama lain.
Semasa Perang Dunia Kedua semasa pendudukan Jepun pada tahun 1941 hingga tahun 1945, penjara Taiping digunakan sebagai penjara awam dan juga sebagai pusat tahanan sewaktu perang Jepun. Dalam tempoh waktu ini, kesemua rekod mengenai penjara dan tahanannya musnah.
Setiap bangunan yang didirikan dapat memuatkan sehingga 50 orang banduan sahaja. Semasa permulaan pembinaan Penjara Taiping, ia sebenarnya dikenali dengan nama Penjara Larut dan kemudian ditukar kepada Penjara Pusat Latihan Taiping. Pada 9 Januari 1992 melalui warta kerajaan (KDN.S 171/1355; PN. (PU) 163/11) nama Penjara Taiping telah diberi dan nama tersebut telah kekal sehingga hari ini.