来源有三：
　　1、出自姬姓，为周文王子毕公高后。毕公高封其子季孙于潘，附庸于毕国。据说其地在今陕西省北部，子孙以采邑命氏。

　　2、出自芈姓，春秋时楚国有潘氏，见于家传者始租为潘崇。潘崇官拜楚穆王太师。
《 通志。氏族略三》 ："潘氏，芈姓，楚之公族，以字为氏。潘崇之先，未详其始或言毕公高之子季孙食采于潘，谬矣。潘岳家风诗自可见。晋亦有潘父，恐自楚往也。汉有潘瑾，后汉有潘勉。"

　　3、出自北方鲜卑族，后魏时，代北鲜卑有姓破多罗者，后改潘氏。