兵庫県の名は、現在の神戸市兵庫区に役所が置かれたことに因る。ここにある兵庫港（旧称は大輪田泊、現在の神戸港の一部）が古くから国際貿易港として開港していたためである。また、一説には安政の五か国条約によって兵庫港開港を約束しながら実際の開港地が神戸に変更されたために、諸外国から条約違反とする非難を避けるために「神戸」ではなく「兵庫」を県名に用いて神戸をその管轄区域に含めてお茶を濁したとする説がある。

「兵庫」の由来は、天智天皇の治世に兵の武器の倉庫の意味である「つわものぐら（兵庫）」があったことからも由来する。