県域は古代の播磨国全域、但馬国全域、淡路国全域、摂津国有馬郡、川辺郡、武庫郡、菟原郡、八部郡、丹波国多紀郡、氷上郡に跨る。加えて、1896年（明治29年）美作国に属していた岡山県吉野郡石井村と讃甘村の一部が兵庫県佐用郡に越県編入される。また、1963年（昭和38年）には備前国に属していた兵庫県赤穂市福浦が岡山県和気郡日生町（現・備前市）より越県編入された。それは、同地の備前福河駅に名残を残す。