セグメントとセグメントの間、あるいはセグメントとWANの間にはルーティング（routing）を行なうための特別なホストであるルータ(router)がある。 ルータにはあらかじめ、自身が繋がれているそれぞれのセグメントにいるホストのIPアドレスを教えてある。 これはルーティングテーブルと呼ばる。 ルータは、一方のセグメントのホストから他方のセグメントのホストにパケットが送られようとしていると、一旦後者のホストの代わりにパケットを（前者のLANのプロトコルで）受け取り、ルーティングテーブルを参照してどのセグメントに送ればいいかを選択し、そのパケットを後者のLANのプロトコルで後者のホストに送る。 ルータはルーティングテーブルによって、あるIPアドレスに送るにはどのセグメントに送ればよいかを把握している。一部が破壊されても、このルーティングテーブルを書き換えるだけで破壊箇所を迂回することが可能になる。

ルータと似ているが、ルーティングテーブルを持たないが異なるLANのプロトコルを変換して右から左、左から右に中継するだけのものにはブリッジと呼ばれるものがある。しかしブリッジはIPより下位の層（OSI参照モデルのデータリンク層）の話でありIPのことなど知らないので割愛する。

また特に、異なるプロトコルを用いるセグメント同士の間をつなぐルータはゲートウェイ（Gateway; Gate=門, way=道）と呼ばれる。 本来ゲートウェイはOSI参照モデルのネットワーク層におけるブリッジに相当するルータの基本機能の一部なのだが、セグメントのほとんどがイーサネットになっているため、特にセグメントとWANとの間にあるルータだけがゲートウェイであることが多い。 またルータが知らないIPアドレスは（ルーティング処理の一環として）全てデフォルトゲートウェイと呼ばれる特別なゲートウェイに送られる。デフォルトゲートウェイは通常WANとの接続部分にあるため、未知のIPアドレスへのパケットは全てWAN側（外の世界）のルータにパケットを送信することになる。 そしてWANのルータが送信先となるIPアドレスの存在するセグメントのゲートウェイにパケットを送信し、ゲートウェイが送信先となるIPアドレスを持つホストにパケットを送信することで世界中のホストと通信が行なわれる。