春秋戰國時，潘姓主要在今湖北省境內發展，此後，有向山東、湖南遷徙的少數潘姓人。漢時，有潘姓北遷至滎陽中牟(今屬河南省)的，至三國時發展興旺而為滎陽郡一大望族，以東漢獻帝時尚書左丞潘勖為始祖。東漢靈帝有潘乾因仕宦而遷江蘇溧陽，此地以潘乾為始祖。吳國有右將軍潘璋由發乾(治在今山東省冠縣)而遷建康，而吳國還有瀏陽侯潘濬，為漢壽(今湖南省常德)人，而孫權妻潘夫人為浙江會稽人，這說明在三國以前，潘姓已播遷於上述地方，其中以中牟潘姓最為興旺，晉時，潘勖之裔孫潘才因任廣宗太守，而落籍廣宗(今河北省威縣)，後又發展成為潘姓歷史上第二大郡望，此期亦有潘姓人播遷廣東。北魏時，破多羅氏改漢姓潘，並逐漸在洛陽形成潘姓的第三大郡望，其開基始祖為潘威。此期潘才的八世孫潘紹業因任隨州(今湖北省隨縣)刺史落籍當地。唐初，陳元光父子開漳，有河南固始人潘節隨其入閩。此期潘紹業的曾孫潘求仁因任杭州刺史而定居當地，其間並有移居陝西的潘勖的後人興旺發達起來，而江夏(今湖北省武昌)的唐秘書監潘肅仁自稱是漢壽潘氵睿的後裔，由此可見，自東漢末至唐朝，潘姓從中牟望族中又衍分出許多支脈，而潘威的後裔則從洛陽望出，又興盛播遷於懷朔(今內蒙古自治區固陽)、陝甘等地。豫章潘姓興盛於唐代，至五代南唐時成為當地名門望族。宋時有潘節後人遷廣東、雲南。元明清時，潘姓已分布於全國各地。如今，潘姓人分布廣泛，尤以廣東、江蘇、安徽、內蒙古、河南、四川、湖北、浙江等省區多此姓。上述八省潘姓約占全國漢族潘姓人口的百分之六十九。潘姓是當今中國姓氏排行第五十二位的大姓，人口較多，約占全國漢族人口的百分之零點四二。