『日本書紀』の飛鳥時代の記述に、推古天皇28年（620年）八月条に掖玖（やく、現・屋久島）の人が「伊豆島」に漂着したとある。この伊豆島は伊豆諸島のことを指していると考えられる。その後、同書の記録では天武天皇4年4月18日条（675年5月20日）には麻続王の子が、同6年4月11日条（677年5月20日）には田史名倉などが伊豆島に流刑に処されている。

このように伊豆島は古くから流刑地とされ、『続日本紀』によれば神亀元年（724年）には伊豆国が安房国、常陸国、佐渡国などとともに遠流の地に定められた。続日本紀には文武天皇3年5月24日（699年6月29日）には役小角が「伊豆嶋」に流された記録があるが、『扶桑略記』の同日条では「仍配伊豆大島」とされており、この配流地は伊豆大島だったと考えられる。

『殿暦』永久元年10月22日条（1113年12月9日）の記事によれば、同年に醍醐寺の仁寛（立川流の祖）が罪を得て「伊豆大島」に流されたという。また源為朝は保元の乱に敗れて捕らえられ、伊豆大島に配流された後に島々を掠領したために狩野茂光に攻められて死んだが、伊豆諸島の人々によって琉球国王の祖・舜天の父になったなどの伝説が作られている。