延喜式神名帳には伊豆国賀茂郡の神社として波布比売命神社、阿治古神社、波治神社の名があり、それぞれ島内の波浮港の羽布比命神社、野増の大宮神社、泉津の波知加麻神社に比定され、当時からこれらの神社が存在していたことがわかる。近世初頭の『伊豆国三嶋神主家系図』の記述では、慶雲元年（704年）に三原山が噴火したことから興島（三宅島と推定される）に祀っていた三島宮（現・静岡県三島市の三嶋大社）を大島に移したという。なお、三島宮はこの後の天平7年（735年）に現在地の伊豆府中に遷座した。また『今昔物語』には、配流された役小角が勤行したとされる山で蔵海という僧が嵯峨天皇の頃に修行を積み、地蔵寺を建立したという話がある。