丹波国天田郡（現在の福知山市）若しくは桑田郡矢田（現在の亀岡市）の出身。康頼以前の系譜は明らかでないが、出自には2つの説がある。1つは、中国からの渡来人の流れを汲む坂上氏の一族とするもので、遠祖は後漢の霊帝であるという。各種系図ではこの説を採るものが多い<ref name="keizu">『尊卑分脈』、「丹波氏系図」（『群書類従』および『続群書類従』所収の諸本）など。これらの系図では壬申の乱の功臣坂上老の子である大国の子に康頼を充てるが、年代的に整合性が合わない。このためか『諸家知譜拙記』では大国と康頼の間に「此間中絶歟」との記述がある。</ref>。『姓氏家系大辞典』でも出自を坂上氏の一族である丹波史<ref>『新撰姓氏録』左京諸蕃 でも丹波史を後漢霊帝の後裔としている。</ref>の子孫とする。もう1つの説では尾張氏の一族で丹波国造家の丹波直の子孫とする<ref>これは、明治時代に鈴木真年が著書『華族諸家伝』にて主張した説で、これに基づき昭和末期以降、宝賀寿男（『古代氏族系譜集成』古代氏族研究会､1986年）や近藤敏喬（『宮廷公家系図集覧』東京堂出版,1994年）もその著書にて同様の主張を行っている。</ref>。