Pulau Pangkor terkenal sejak sekian lama dahulu kira-kira pada tahun 1670 lagi. Pada waktu itu, belanda telah menjadikan Pulau Pangkor sebagai lokasi memunggah bijih timah dari negeri Perak. Kota Belanda telah dibina bagi menyimpan bijih timah dan lain-lain hasil dagangan dari negeri Perak.
Agak kerap berlaku aktiviti lanun di Selat Dinding dan sekitar kawasan tersebut. Pada 20 Januari 1874 pula, Sir Andrew Clarke selaku Gabenor Negeri Selat yang beribu pejabat di Singapura telah datang ke Pulau Pangkor bagi menandatangani Perjanjian Pangkor dengan Sultan Abdullah Sultan Perak ke 26.
Pulau yang berdekatan dengan Lumut itu mempunyai keluasan kira-kira 2,200 hektar dan kini, Pulau Pangkor merupakan salah satu destinasi pelancongan pulau utama di Malaysia setiap tahun. Berdasarkan sumber orang lama penduduk tempatan, terdapat cerita lama berkenaan dengan asal usul nama Pulau Pangkor yang tidak dapat dikenalpasti kesahihan ceritanya. Namun inilah cerita yang dipanjangkan sejak turun temurun untuk memperingati bagaimana Pulau Pangkor mendapat namanya.
Pada zaman dahulu Pulau Pangkor ini lansung tidak mempunyai penghuni, hanya pedagang sahaja yang datang singgah untuk berehat. Pulau Pangkor ini dikatakan nama dahulu dipanggil sebagai Pulau Singgah kerana ia menjadi tempat persinggahan Sultan atau kerabat diraja untuk datang berehat dan bercuti. Oleh kerana begitu tertarik dengan keindahan Pulau Pangkor, baginda sultan telah mengarahkan untuk membina sebuah istana dan istana tersebut dinamakan sebagai Istana Hinggap setelah siap dibina.
Sultan hanya datang singgah di pulau tersebut setahun sekali. Jadi, penduduk di persisiran pantai mula berpindah dan merantau ke pulau tersebut kerana ingin meneroka tempat baru. Orang yang mula-mula berpindah ke situ adalah Pak Pangkor bersama keluarganya. Pak Pangkor yang berasal dari pantai Remis terpaksa berpindah kerana kehidupan mereka sekeluarga disana susah nak terpaksa berpindah untuk meneruskan kehidupan.
Mereka sekeluarga bersepakat untuk berpindah ke Pulau Singgah dan Pak Pangkor telah mendirikan pondok kecil untuk mereka sekeluarga berlindung dan bermalam. Keesokkan harinya ketika Pak Pangkor berjalan meninjau keadaan disekitar pulau mencari tapak untuk mendirikan pondok yang lebih baik, Pak Pangkor telah menjumpai suatu tempat yang sesuai dan mempunyai punca air dan terus mendirikan pondoknya disitu.
Pak Pangkor membersihkan kawasan persekitaran dan mula menanam ubi kayu, pisang, jagung serta pokok buah-buahan lain dan pada satu hari, Sultan Perak telah kembali ke Pulau Pangkor dan pada asalnya, rombongan diraja itu tidak sedar akan kehadiran orang yang mula berpindah ke sana sehinggalah ketika sultan keluar berburu dan seorang pembesar telah terpandang ke arah kebun Pak Pangkor dan segera memaklumkan kepada baginda sultan.
Kemudian, Pak Pangkor dijemput untuk menghadap sultan. Pak pangkor masuk menghadap dengan membawa hasil tanamannya untuk dipersembahkan kepada sultan. Selepas peristiwa itu ramai orang dari tanah besar mula berpindah ke Pulau tersebut setelah mendapat perkenan daripada Sultan Perak. Orang ramai menamakan pulau tersebut sebagai Pulau Pangkor kerana Pak Pangkor yang mula-mula meneroka kawasan tersebut.