ネットワークインフラを理解する · 第4部 · 学んだ原理を実際のネットワーク設計にどう生かすか
複数の建物をつなぐとき、コアネットワークを独立させるのはいつか
複数の建物のネットワークをつなぐ場合でも、コアネットワークが必須とは限りません。まず、複数のディストリビューションブロック間の転送を別の役割に任せ、ブロックごとに変更や保守を行う必要があるかを検討します。2つの建物間の往復経路と集約ルートをたどりながら、コアネットワークを置くと何が単純になり、何を新たに管理する必要があるかを説明します。
目次に戻る建物の数より、ディストリビューションブロックをどう接続するかを見る ↑
ディストリビューションブロックは、複数のネットワークアクセスと、その上位のディストリビューションレイヤを1つの設計単位として捉える範囲です。建物1棟と一致する場合もありますが、常に同じではありません。実際のサービス経路や保守責任によって、1つの建物内に複数のブロックを設けたり、複数の小さな建物を1つのブロックにまとめたりできます。
前の2層設計の例を1つのディストリビューションブロックとすると、今回はブロック A とブロック B がそれぞれ独自のネットワークアクセスとディストリビューションレイヤを持つと仮定します。ブロック A の PC-A は、ブロック B の App-B に接続する必要があります。同じブロック内で完結する通信と、ブロック間を行き来する通信を分けて考えます。
ブロックが少なく、接続関係が単純なら、ディストリビューションレイヤ同士を直接つなぐ構成も検討できます。独立したコアネットワークがないというだけで、設計が誤っているわけではありません。必要な容量、障害対応、ポリシー、拡張の条件を、現在の接続で満たせるか確認します。
ブロックが増え、接続と変更の組み合わせが複雑になると、ブロック間の転送をコアネットワークという独立した役割に任せる理由が生まれます。各ディストリビューションレイヤは引き続き配下のネットワークアクセスを集約し、コアネットワークはディストリビューションレイヤのブロック間でパケットを転送します。この分担によって接続がどれだけ単純になり、変更の影響範囲がどれだけ小さくなるかを比較します。
ブロックごとに担当者が異なるなら、共通の転送部分を誰が変更できるかも決めます。機器の階層だけを分け、変更権限や連絡体制を決めなければ、共通のコアネットワークで作業が競合する可能性があります。接続構成の分担と、誰がどの設定を変更するかは、合わせて決める必要があります。
したがって、コアネットワークを導入する根拠は「建物が3棟」といった数ではなく、接続関係と運用上の要求です。新しいブロックの追加時に既存ブロックをどれだけ変更するか、共通の転送経路を独立して保守する必要があるかを記録します。この要求を明確にしてこそ、コアネットワークの追加で解決する問題と、複数のブロックがコアネットワークを共有することで生じるリスクを比較できます。
ここでは、前の接続・集約構成をブロック A とブロック B にそれぞれ置き、両ブロック間の転送をコアネットワークに任せます。点線で囲んだ範囲は建物の外壁ではなく、設計と保守をまとめて検討するディストリビューションブロックです。
↔ 図は左右にスクロールして確認できます。
PC-A から別の建物のサーバーまで、各役割をたどる ↑
ブロック A と B の間に C1・C2 というコアネットワークの機器を置き、各ブロックのディストリビューションレイヤが両方のコアネットワーク機器へL3経路を持つ構成とします。図の要点は機器を3段に積む形ではなく、ブロック内の転送とブロック間の転送を区別することです。
PC-A のアドレスは 10.60.10.21、宛先の App-B は 10.70.20.10 です。エンドポイントは自身のゲートウェイへフレームを送り、ブロック A のルーティング経路に沿ってディストリビューションレイヤへ到達します。そのディストリビューションレイヤはブロック B の宛先への経路を選び、コアネットワークの方向へ転送します。
コアネットワークは、宛先に対応するブロック B 方向の経路へパケットを転送します。ブロック B のディストリビューションレイヤとアクセス区間を経て App-B に届くと、応答は PC-A のアドレスへの戻り経路を通ります。要求と応答が異なるコアネットワークの機器を通る場合もあるため、両方向の経路とポリシーが実際にどう設定されているかを確認します。
同じアクセススイッチの同じVLAN内にある2つのエンドポイント間の通信まで、コアネットワークへ上げるわけではありません。コアネットワークを必要とする経路と、必要としない経路を区別すると、共通の転送機器にどの通信需要を見込むべきかも明確になります。すべてのエンドポイントのポート速度を合計した値を、そのままコアネットワークの実際の需要とは見なせないのはこのためです。
状態を追跡するセキュリティ機器を通るなら、その機器が双方向のフローを処理できる条件も図面に示します。物理経路が異なる場合でも、状態共有や対応方式によって結果は変わります。非対称経路で通信できるかは、その機器が双方向の接続状態を扱う方式に即して確認する必要があります。
コアネットワークを単純な転送の役割に保つには、ユーザーポリシーとサービス境界をどこで適用するかを決める必要があります。単純化とは、必要なセキュリティポリシーをなくすことではありません。ユーザーポリシーとサービス保護を適用する位置を明確にし、コアネットワークは安定したブロック間転送に集中させる設計を意味します。
ブロック A の PC-A からブロック B の App-B まで、要求をたどります。選択した経路と代替経路を区別し、応答の戻り経路は別に確認します。
↔ 図は左右にスクロールして確認できます。
集約ルートで経路は簡潔になるが、実際の到達性が見えなくなることもある ↑
アドレスをブロックごとに計画すると、上位へ通知する経路を集約できます。この例では、ブロック A に 10.60.0.0/16、ブロック B に 10.70.0.0/16 を割り当てたと仮定します。この範囲は計画上のまとまりであり、範囲内のすべてのサブネットが実在するという意味ではありません。
ブロック A がコアネットワークへ 10.60.0.0/16 を通知すると、コアネットワークはその範囲を宛先とする通信をブロック A へ転送できます。ただし、ブロック A 内で実際の宛先サブネットへの経路が失われていれば、集約ルートだけでは転送を完了できません。上位経路の存在と、下位サービスへの到達性は別の確認項目です。
例えば 10.60.10.0/24 への経路が失われても、別のサブネットがあるために /16 の集約ルートが残る場合があります。コアネットワークからは集約ルートが正常に見えていても、PC-A 方向の通信は失敗し得ます。障害を分析するときは、宛先へのより具体的な経路と、実際の転送位置までたどる必要があります。
集約範囲内に含まれていても、実際には経路のないアドレスが宛先になった場合の処理も決めます。設計によっては、集約地点の破棄ルートなどで転送ループを防げますが、その適用方法と優先順位は、使用するルーティング機能で検証する必要があります。破棄ルートは誤って届いたパケットの処理を決めるだけで、失われた下位サービスを復旧するものではありません。
ブロック間でアドレスが重複したり、一部を別のブロックへ移したりすると、集約の前提が変わります。新しいアドレスを割り当てるときは、空いている範囲だけでなく、そのアドレス宛てのパケットをどのブロックが受け取り、転送するかを確認します。アドレスの割り当て先ブロックとルーティング経路が一致していれば、集約ルートを見るだけでもパケットの転送先を判断しやすくなります。
コアネットワークに集約ルートが残っていても、ブロック内の特定のサブネットへの経路は失われることがあります。上位の集約ルートと、下位の実際の経路を合わせて確認する必要がある例です。
↔ 図は左右にスクロールして確認できます。
コアネットワークの機器1台の故障と、ディストリビューションブロック全体の故障を区別する ↑
C1 が故障した場合は、C2 を通る経路でブロック間の通信を維持するよう設計します。両ブロックに、C2 経由で互いの宛先へ到達する経路があり、C2 に向かう接続にも十分な残存容量が必要です。ケーブルがつながっていることを確認するだけでは不十分です。
PC-A から App-B までの経路を、C2 だけを残した図でたどり直します。ブロック A のディストリビューションレイヤが C2 へ転送でき、C2 からブロック B へ転送できるかを確認します。次に App-B から PC-A への応答を別にたどり、それぞれの方向のポリシーと、ステートフルフィルタリングを行う機器の条件を確認します。
C1 が担っていた通信が C2 へ移ると、各接続の負荷も変わります。通常時の平均使用率が低くても、1つのブロックへの接続に需要が集中する可能性があります。コアネットワーク機器の総処理量と、個々のポートやキューの限界を同一視してはいけません。
一方、ブロック A のディストリビューションレイヤを担う2台の機器がともに到達不能になれば、C1 と C2 が正常でも、そのブロックは外部へ通信できなくなることがあります。共通の電源や回線経路が、2台のディストリビューションレイヤの機器を同時に止める場合もあります。コアネットワークの冗長化が、下位ブロックのあらゆる故障を保護するわけではありません。
障害報告にも、この違いを反映します。問題はコアネットワーク全体にあるのか、特定のブロックにあるのか。ブロック内の通信は可能なのか、外部へ出る通信だけが失敗しているのかを区別します。設計時にブロックごとの役割と障害ドメインを分けていれば、障害報告でも同じブロック名を使い、影響が及ぶ範囲を伝えます。
階層を分ける効果は、変更と保守の場面でも確認する ↑
コアネットワークを分離すると、通常時のパケット転送だけでなく、機器ごとの変更や保守の範囲も整理できます。新しいネットワークアクセスを追加する場合、1つのディストリビューションブロックを保守する場合、共通の転送機器を交換する場合で、影響範囲がどう異なるかを説明できる必要があります。
例えばブロック A に業務用サブネットを追加するとき、ブロック B のアクセス設定も変更する必要があるかを確認します。アドレス計画と集約ルートが適切なら、一部の変更をブロック内にとどめられます。ただし、セキュリティポリシーや共通サービスの許可リストには、別の変更が必要になる場合があります。すべての変更が局所化されるとは限りません。
C1 を保守する前に、保守中は C2 だけでも必要なサービスを担えるかを確認します。C2 だけでもエンドポイントの通信経路と必要な上位接続容量を確保できる必要があります。管理アクセスとポリシーも正常に機能する必要があります。ルーティングのネイバー関係が確立しているという事実より、実際の業務の要求と応答を基準とする必要があります。
新しいブロックを追加すると、コアネットワークのポートと回線だけでなく、経路数、ポリシーの影響、障害試験の項目も増えます。空きポートがあるだけで、拡張可能だと判断してはいけません。どの条件で設計を見直すかを文書化すると、拡張時にも同じ基準で判断できます。
保守作業のための接続が、保守対象のコアネットワークを通っていないかも確認します。業務経路に代替があっても、管理経路を失えば切り戻しが遅れる可能性があります。作業者の場所から対象機器までの管理アクセス経路を別にたどり、確実に使える代替アクセスを確認します。
図に代替経路があっても、実際の障害時に業務を引き継げるかは試験が必要です。設計検証では、試験対象の障害とサービス、許容停止時間、切り戻し条件を整理します。ここまでで内部ネットワークの構成を見てきました。次の部では、このネットワークを支社・クラウド・インターネットにつなぐための回線、アドレス、経路ポリシーを扱います。
用語集↑
この記事の用語の意味と英語表記は、用語集全体でも確認できます。
- 変更の影響範囲change domain
- 1回の設定変更、ソフトウェア変更、保守作業に伴う変更が影響を及ぼし得る機器とサービスの範囲です。物理的な障害の影響範囲と重なることはありますが、常に一致するとは限りません。
- ディストリビューションブロックdistribution block
- 複数のアクセス区間と、それらを集約するディストリビューションを、1つの設計・運用範囲として捉える単位です。その境界が建物の境界と一致するとは限りません。
- 障害ドメインfailure domain
- 1つの構成要素の故障や変更の失敗によって、同時に影響を受けるシステムとユーザーの範囲です。
- 3層設計three-tier design
- 端末の接続、集約、ディストリビューションブロック間の転送を、アクセス、ディストリビューション、コアの3つの役割に分ける設計です。建物の数だけで採用の要否を決めるものではありません。
- 2層設計two-tier design
- アクセスレイヤと、その上位の集約レイヤで構成するキャンパス設計です。上位レイヤは、独立したコアを置かずに、集約とブロック間の転送を兼ねることができます。
- サーバーserver
- クライアントに機能やリソースを提供する、システムまたはソフトウェアの構成要素です。
- VLANVLAN
- スイッチングネットワークを、異なるリンク層のブロードキャストドメインに分ける Virtual LAN です。
- ステートフルフィルタリングstateful filtering
- 記録した接続またはフローの状態を、ポリシー判断の一部として用いるパケットフィルタリングです。
- ネットワークアクセスnetwork access
- ユーザーや端末がネットワークに最初に接続する、有線または無線の境界の役割です。
- コアネットワークcore network
- 主要なディストリビューション区間、事業者ネットワーク区間、地域ネットワーク区間を相互接続する、ネットワークの中心となる階層です。
- ディストリビューションレイヤdistribution layer
- 複数のアクセス区間を集約し、他の区間やサービスへ接続する役割です。ゲートウェイとポリシーを配置する位置は、選択した設計によって異なります。
- エンドポイントendpoint
- 途中で転送するノードではなく、通信の一方の端で送受信する装置またはソフトウェアの終端です。
- ゲートウェイgateway
- あるネットワークまたはプロトコルの文脈から、別の文脈へ出ていく経路を提供するシステムです。
- パケットpacket
- 送信元から宛先へ転送する、ネットワーク層のプロトコルデータ単位です。
- L3Layer 3
- IP パケットとルーティングを扱う、ネットワーク層の文脈を指します。
- OSPFOSPF
- OSPFのルーティングドメイン内でリンクステート情報を共有し、最短経路を求める内部ゲートウェイプロトコルです。
- 集約ルートroute summary
- 複数の連続した下位プレフィックスを 1 つの上位プレフィックスとしてアドバタイズし、ルート数を減らす表現です。
- ルーティングrouting
- 宛先プレフィックスへの経路を選び、転送情報を設定または利用する処理です。
- スイッチswitch
- 学習した情報または設定された情報に基づいて、リンク層のドメイン内でフレームを転送する装置または機能です。
- ポートdevice port
- トランスポート層のポート番号とは区別される、スイッチやルーターなどのネットワーク機器上の物理的または論理的なインターフェイスの位置です。
適用範囲と参考資料
技術上の原理は、以下の公式資料を根拠としています。例として示す機器配置とアドレスは説明用であり、現場の測定結果や製品性能の保証ではありません。
- Campus LAN and Wireless LAN Solution Design Guide — キャンパスの階層ごとの役割と設計モデルの根拠です。本文では役割を分ける原理を参照しており、現在の製品性能や対応する組み合わせは、該当製品の資料で確認する必要があります。
- Campus Network for High Availability Design Guide — キャンパスの障害時の経路、復旧、設計検証についての参考資料です。
- High Availability Campus Network Design — Routed Access Layer — ゲートウェイをアクセス側に置く L3 境界と、従来の L2アクセスを区別するために参照しています。本文では機器の性能数値を引用していません。
- RFC 1812 — Requirements for IP Version 4 Routers — IPv4 ルーターの宛先経路選択、TTL 処理、ネクストホップへの転送の原則です。
- Cisco Validated — 検証済みの設計・導入・運用資料とその適用範囲を案内するものです。この記事の例を Cisco が試験したという意味ではありません。
実際に適用する前に、使用する機器とソフトウェアの対応条件を確認し、現場で必要な動作を試験してください。