出自姬姓，是黃帝的後代。周文王姬昌第十五子畢公高在西周初年被封在畢，建立畢國。畢公高封其子季孫於潘，附庸於畢國。其地在今陝西省北部，子孫以封邑命氏。或言潘國被楚國所滅，亡國後的潘國人就有用國名作為姓氏的，從此改姓潘。
出自羋[mǐ]姓，是春秋時楚國公族的後代。見於家傳者始祖為潘崇。潘崇官拜楚穆王太師。《通志氏族略三》：“潘氏，羋姓，楚之公族，以字為氏。潘崇之先，未詳其始，或言畢公高之子季孫食采於潘，謬矣。潘岳家風詩自可見。晉亦有潘父，恐自楚往也。漢有潘瑾，後漢有潘勉。”
出自北方鮮卑族。據《魏書.官氏志》所載，南北朝時，北魏有代北複姓“拔略羅氏”隨魏孝文帝南遷洛陽後，定居中原，代為漢姓“潘”氏。
清康熙年間，台灣高山族相繼歸順，被賜姓潘。分別發源於南方和北方的兩支潘氏，姓源雖然看起來有所不同，但認真推溯起來，根本都是黃帝軒轅氏的後代。因為，周文王固然是黃帝的姬姓嫡裔，而楚國所出的羋姓則是傳自黃帝之孫顓頊。在血統方面實際上同出一源，沒有太大的分別。