近世に入ると、島内は海方（または船手稼、浦方）と呼ばれる新島、岡田と、山方（または山手稼、釜方）と呼ばれる竈方野増、差木地、泉津の計5村で構成されるようになる。さらに後に差木地村から波浮湊村が分かれた。なお、天正18年（1590年）に関東の領主が徳川家康になった後も、伊豆諸島ではしばらく北条氏の旧臣の支配が続き、その後に江戸幕府の代官が治めるようになった。なお、生類憐みの令の際に江戸などで集めた鳶・鷹・雉子などが宝永5年（1708年）まで20年余りにわたり島で放鳥された。やがて寛文10年（1670年）に代官の、享保8年（1723年）には手代の渡島も禁止され、以後は新島村の神主である藤井氏が行政を担当した。地役人を世襲で助ける島の有力者を島代官と称した。なお、享保2年（1717年）の改革により、島へ渡る役人と島の有力者を、それぞれ島役人、地役人と呼ぶようになった。

大島では畑で大麦、里芋・大根・大豆などを植えていたが、田がなかったため近世前期には年貢は塩で納められた。また、後に茶やサツマイモなども栽培され、養蚕も行われた。元禄2年（1689年）には釜方村などで製塩された2,000俵以上の塩が納められ、かわりに246俵の扶持米が給付されている。また、浦方には夏と秋に釣った鰹の4分の1ずつ運上と御口（付加税）、春と秋にはムロ、サバなどに10分の1の運上が課せられた。翌元禄3年（1690年）に塩年貢は廃止されて金と京銭による代金納となり、享保7年（1722年）には運上も金納となる一方で被下米が減っている。また同8年（1723年）からは薪、海苔や魚介類を船で江戸の問屋に売渡し、経費などを除いた利益の1割を上納するようになった。

江戸時代にも流刑地としての役割は続き、『伊豆大島志考』によると慶長12年（1607年）の岡部藤十郎をはじめ、同17年（1612年）にはキリシタンのジュリアおたあ、天和2年（1682年）に越後騒動に関連して小栗兵庫ら、元禄16年（1703年）には赤穂浪士の間瀬正明の次男・間瀬定八らが流された。また、日蓮宗不受不施派の僧なども流されている。しかし流人受入れや三宅島までの流人船の御用が負担であったため、明和3年（1766年）に貢金の上乗せを条件に流人船御用が免除された。同年以降は大島への流人は途絶え、御蔵島・利島とともに寛政8年（1796年）に正式に流刑地から除外された。また、同年には島開所が設けられ、大島を含む伊豆諸島の水産物などは同所以外への販売が禁止された。この航路が長いため搬送中に魚の鮮度が落ちて商品競争力が激減したが、江戸の問屋が船足の速い押送船に大島の水主を乗せて魚介類を江戸に運送・販売することを願出て文化13年（1816年）に許可されると売上は急増し、漁業が島の産業の中で大きな比重を占めるようになった。