ネットワークインフラを理解する · 第4部 · 学んだ原理で実際のネットワークをどう設計するか
家庭用ルーター1台の役割を、大規模な企業ネットワークではどう分けて設計するのか
機能の一覧ではなく、障害・変更・状態の境界に沿って機器の役割を分ける設計
家庭用ルーター1台は、スイッチング、DHCP、ルーティング、NAT、ファイアウォールをまとめて処理します。企業ネットワークでは、機能に障害が起きたときや変更したときの影響範囲に応じて、これらの役割を複数の機器と運用担当に分けます。この記事では、パケットが通る順序と各機能が保持する状態を基に、どの境界を分離し、冗長化についてどの条件を確認すべきかを説明します。
1台の家庭用ルーターの中でも、1回の通信のために複数の機能が順に働く↑
家庭用の機器は、ワイヤレスアクセスポイント、イーサネットスイッチ、DHCP サーバー、デフォルトゲートウェイ、NAT、ステートフルファイアウォールの役割を、一つの製品で提供します。利用者は一つの画面で設定でき、小規模な環境では運用が簡単です。
機能の名称と製品の名称を混同すると、企業ネットワークを理解しにくくなります。家庭用ルーターという一つの箱の中でも、パケットはL2スイッチング、L3ルーティング、アドレス変換、セキュリティーポリシーという異なる判断を順に経ます。
ノートパソコンからインターネット上のサーバーへパケットを送るとき、この一つの箱の中でも、処理の順序に沿って役割が変わります。無線APがフレームを受信し、内蔵スイッチがVLAN内で転送した後、ゲートウェイ機能が宛先 IP アドレスを使ってルートを検索します。DHCP サーバーはそれより前にクライアントへ設定情報を提供しており、インターネット方向では、ファイアウォールのポリシーとNAT/PATが許可の判断とアドレスのマッピングを処理します。外見は1台の機器でも、パケット処理の観点では、複数の境界が連続しています。
障害時も、どの機能が動作していないのかを分けて考えると、原因を見つけやすくなります。Wi-Fiのエンドポイントだけが接続できなくなったなら無線区間を、有線・無線のエンドポイントの両方がアドレスを取得できないならDHCPを先に調べます。内部のサーバーには接続できるのにインターネットだけにつながらない場合は、デフォルトルート・NAT・WANを確認します。企業ネットワークでも原理は同じです。機能を別の機器に移しても、その機能が担う仕事と、その前後の通信経路を区別できる必要があります。
複数の機能が1台の機器にあっても、それぞれの動作条件は異なります。DHCPでアドレスを取得しても外部へのルートがない場合があり、ルートがあってもファイアウォールのポリシーやNATの設定によって通信できない場合があります。機器の構成図と併せて、パケットが入るポート、検索するルートとポリシー、変わるアドレスと状態、出ていくポートを書き出すと、小規模なネットワークと企業ネットワークで、同じ機能がどこに配置されているかを比較できます。
この節の出典 IETF RFC 1122 · IETF RFC 1812
図で確認すること 以下の図は、ここまで説明した流れを基に、SOHOの家庭用ルーター内部のL2/L3処理とPATによるヘッダーの書き換え、さらにISPのアクセスネットワーク・IXP・サーバーへと続く実際の転送区間を、一つの画面にまとめたものです。矢印と番号をたどると、端末のヘッダーの値が家庭用ルーターでどう変わり、どの区間を通ってサーバーへ届くかを確認できます。
↔ 図は左右にスクロールできます。
企業ネットワークで機器の役割を分ける基準は、利用者数よりも障害や変更の影響である↑
企業ネットワークで役割を分ける理由は、単にトラフィックが多いからではありません。利用者のネットワークアクセスに関するポリシーは頻繁に変わり、コアネットワークのルートには安定性が重要です。インターネット接続用のファイアウォールには、セキュリティー設定の変更と監査が必要です。変更周期が異なる機能を1台の機器にまとめると、影響範囲が広がります。
分離は、物理的に機器を分けることだけを意味しません。VRFや仮想ファイアウォールのように、一つのシステムの中でも、ルーティングの領域とセキュリティーポリシーを論理的に分けられます。ただし、コントロールプレーンとデータプレーンの独立性は実装によって異なります。仮想シャーシやスタックは複数の機器を一つの論理的な機器にまとめるため、障害の影響範囲と管理責任が互いに独立しているとみなしてはいけません。
利用者が100人でも、24時間稼働する生産設備とオフィスのネットワークが共存しているなら、障害ドメインを分ける十分な理由があります。一方、500人規模の研修施設のように、共通のポリシーを使い、稼働時間が短い環境では、単純な構成の方が適している場合があります。機器の台数は人数に比例させて決めるのではなく、1回の変更や障害で停止する業務、許容停止時間、担当チーム、承認手続きを基準に決めます。
頻繁に変わるネットワークアクセスのポリシーと、安定した維持が必要なコアネットワークのルーティングを同じ設定単位に置くと、利用者に関する小さな変更が、ルーティングへの広い影響につながる可能性があります。物理的な分離のほか、VRF、仮想コンテキスト、独立した設定パイプラインによって変更範囲を分けることもできます。ただし、同じシャーシ・電源・コントロールプレーンを共有していれば、共通の障害要因は残ります。論理的な分離と物理的な独立性をそれぞれ示すことで、冗長性を過大評価せずに済みます。
スループット、ポート密度、暗号化の性能、保持する状態の数、ポリシーの複雑さ、チームの責任範囲も、分離を判断する基準です。一方、小規模で、同じチームが同じ変更時間帯に運用するなら、統合された機器の方が単純な場合があります。「企業には必ず N 層が必要」といった固定の答えを当てはめるのではなく、機能ごとの容量、障害の影響、変更頻度、復旧時間を表にし、分離の利点と増える依存関係を比較します。
この節の出典 IETF RFC 1812 · Cisco Design Zone
サービス停止時にも機器に接続するには、利用者のパケットの経路と管理経路を分ける必要がある↑
利用者のパケットはネットワークアクセスから入り、VLANとゲートウェイを通って、内部サービスまたはインターネットのエッジへ向かいます。このデータプレーンの経路とは別に、運用担当者は機器の管理インターフェイス、認証、ログ、時刻同期にアクセスできる必要があります。
業務の通信と管理用の接続が同じ経路を使っていると、障害時に機器の状態を確認したり、設定を元に戻したりできない場合があります。別の管理ネットワークが必要かどうかは、現場の復旧要件に応じて判断します。ただし、主経路が切れても使える管理手段があるかは、設計時に確認する必要があります。
管理経路には、SSH・HTTPSでの接続だけでなく、AAA、DNS、NTP、Syslog、テレメトリー、ソフトウェアの配布も含まれます。機器が稼働していても、TACACS サーバーやDNSに到達できなければ、運用担当者がログインできない場合があります。NTP による時刻が正しくなければ、複数のログに記録された障害時刻を突き合わせることも難しくなります。管理VRFや専用インターフェイスを使うなら、これらの依存先サービスがどのルートとファイアウォールのポリシーを使うかまで設計する必要があります。
アウトオブバンドのネットワークは、本番のデータプレーンとは別のスイッチや回線を使ってこそ、障害を隔離する効果があります。同じコアネットワークと電源を共有し、VLANだけを分けた構成では、依然として一部の障害で両方が切断されます。コンソールサーバー、携帯電話回線によるバックアップ、現地でのアクセス手順も含めて、「主経路が完全に失われたとき、どう確認し、どう元に戻すか」を試験します。管理ネットワーク自体が新たな単一障害点にならないよう、認証とアクセスログも別途保護する必要があります。
管理用アドレスを別のVLANに置くだけでは、独立性は確保できません。同じコアネットワーク、電源、DNS・AAA サーバー、WAN回線を共有していると、それらの障害によって管理経路も同時に失われる可能性があります。設計図には、管理用エンドポイントから機器までのルート、認証・名前解決・時刻同期の依存関係、緊急時のローカルアクセス手順を描き、実際に共通の障害要因となる箇所を探します。
この節の出典 IETF RFC 6192
機器を2台置くだけでは、なぜ無停止の冗長化が完成しないのか↑
機器を2台配置しても、ゲートウェイの状態、ルーティング、NATとファイアウォールのセッションがどう切り替わるかを決めなければ、期待した復旧は起こりません。アクティブ/スタンバイやアクティブ/アクティブという名称よりも、障害の検出、状態同期、切り替え中の損失、切り戻しを確認します。
すべての区間を冗長化すると、複雑さも増します。単一障害点の影響、許容できる復旧時間、運用能力を比較し、必要な箇所から適用します。
デフォルトゲートウェイの冗長化では、クライアントが使う仮想IP・MAC アドレスがどの機器へ移るか、上流・下流のルートが新たなアクティブ機器へ向くかを確認します。ファイアウォールクラスターでは、セッション、NAT マッピング、VPNのセキュリティーアソシエーションの同期範囲も確認対象になります。両方の機器が自分をアクティブだと判断するスプリットブレインが発生すると、同じ仮想IPを双方が広告したり、非対称な経路を作ったりする可能性があります。このため、ハートビートと障害検出の境界も設計対象です。
フェールオーバー後は、新しいpingが成功するかだけでなく、既存のTCP接続、新しい接続、長時間継続するUDPフロー、外部からのDNAT接続を、それぞれ試験します。パケット損失と復旧時間を測定し、主機器へ切り戻すときにも、経路と接続状態が安定しているかを確認します。機器全体の故障に加え、アップリンクの切断、上位の経路の喪失、状態同期リンクの切断も個別に試験してこそ、実際の障害の影響範囲と、接続が維持される条件を把握できます。
2本の経路が同じ電源・光ファイバー管路・通信事業者のPoP・設定配布に依存しているなら、独立した経路ではありません。正常時の構成図と併せて、機器、リンク、電源、回線、コントロールプレーン、状態同期がそれぞれ失われたときの稼働経路と収束時間を記録します。ステートフル機器では、新規セッションと既存セッションの結果を別々に試験し、切り戻し時のプリエンプションや非対称な経路によって起きる2度目の障害も確認します。
この節の出典 IETF RFC 1812 · Cisco Design Zone
NATでアドレスを変更する位置と、ファイアウォールで通信を検査する位置は異なる場合がある↑
家庭用の機器ではNATとファイアウォールが同じ画面にあり、一つの機能のように見えます。企業ネットワークでは、内部のネットワークセグメンテーション用のファイアウォール、インターネットのエッジのNAT、クラウドのセキュリティーグループ(SG)など、ポリシーを適用する機能やアドレスを変換する機能が複数の場所に分かれる場合があります。
どの機器がアドレスを変更し、どの機器が元のアドレスを基にポリシーを適用してログを残すかを文書化する必要があります。変換前後のアドレスを対応付けられないと、インシデントの分析とサービス障害の診断が途切れてしまいます。
ファイアウォールがNAT前の元の送信元10.20.30.25でポリシーを評価するか、NAT後のグローバルな送信元で評価するかは、製品のパケット処理順序とポリシーの位置によって異なります。インターネットのエッジのログには外側のタプルだけが、内部のネットワークセグメンテーション用ファイアウォールには元のタプルだけが見える場合があります。インシデント調査とアプリケーションの許可リストのために、二つのログを同期された時刻とアドレス変換機器が記録した変換前後のアドレス・ポートの対応関係で結び付けられる必要があります。変換 ID は機器が提供する場合に補助識別子として使用し、異なる機器で同じ値だとは仮定しません。
クラウドでは、ルートテーブル、セキュリティーグループ、ネットワークファイアウォール、NATゲートウェイが、別々のサービスとして配置される場合があります。パケットの送信元・宛先がどの境界で変わり、どの境界がステートフルな判断をするのかを図示する必要があります。セキュリティーのゾーンをNATの位置と自動的に同一視すると、内部の東西方向のトラフィックやIPv6のように、NATを通らない通信フローのポリシーが抜け落ちる可能性があります。ポリシー境界は信頼レベルと観測の必要性から、アドレス変換はルーティングとアドレス領域の要件から、それぞれ決めます。
セキュリティー機器が実際の送信元アドレスを見る必要があるか、変換前と変換後のどちらのアドレスでポリシーを適用するか、応答がどこを通るかに応じて、機能を配置します。DNATで公開するサービスなら、外部からの接続先アドレス、変換後の内部サーバーのアドレス、許可するポートを示します。サーバーの応答が外へ出るときに、送信元アドレス・ポートが外部に公開した値へ戻る過程も確認します。複数のファイアウォールや負荷分散機器を通るなら、各位置のアドレス・ポート、接続状態を管理する機器、非対称な経路を許容できる条件も併せて記録します。
この節の出典 IETF RFC 3022 · NIST SP 800-41 Rev. 1
図で確認すること 企業内部のアクセス・集約・コアと、外部ネットワークへの接続区間に、機能を分けて配置した例です。認証、アクセス制御、ファイアウォールなどは、通信経路と保護対象に合わせて組み合わせます。機器を並べたり、セキュリティー機能を何層も配置したりするだけで、ゼロトラストが完成するわけではありません。利用者・機器・アクセス対象の条件を確認し、権限を判断するポリシーが必要です。図の機器の種類、回線速度、セッション数は構成例であり、企業ネットワークの必須仕様や性能保証値ではありません。
↔ 図は左右にスクロールできます。
機器を選ぶ前に、各機能の障害による影響と担当者を一つの表にまとめる↑
状況:80人のオフィスを500人規模に拡張するにあたり、既存のルーターを交換します。
- 現在の機器が提供するWi-Fi、DHCP、スイッチング、ルーティング、NAT、VPN、ファイアウォールの役割を書き出します。
- 各役割に障害が起きたときに影響を受ける利用者・サービスと、許容できる復旧時間を決めます。
- 内部のゲートウェイ、インターネットのエッジ、管理の境界をどこで分けるかを設計します。
- 状態同期と切り替えの際に途切れる通信フロー、運用担当者、ログの場所を記録します。
- 最大仕様だけに頼らず、正常時・障害時・保守時の経路を試験して、設計を検証します。
表の行には、Wi-Fiのネットワークアクセス、L2スイッチング、DHCP、デフォルトゲートウェイ、内部のルーティング、インターネットのルーティング、NAT、ファイアウォール、VPN、管理を並べます。列には、現在の実装、目標とする実装、設定の担当者、監視、正常時の依存関係、障害の影響、HA 方式、切り戻し手順を並べます。一つの製品が複数の行に繰り返し登場しても構いません。むしろ、その繰り返しによって、現在一つの箱にまとめられている役割と共通の障害要因が明らかになります。
構成を決めたら、代表的な通信を図面上でたどります。エンドポイントへのアドレス割り当て、内部のVLAN間の通信、インターネット接続、外部から公開サービスへの接続、管理用の接続を、それぞれ描きます。正常時・障害時・保守時について、ネクストホップ、適用するポリシー、接続状態を管理する機器を示します。これらの経路を障害試験の結果と照合すれば、抜けている設定や設計条件を見つけられます。運用担当者が障害に対応するための資料としても活用できます。
試験環境で、リンクの切断、機器の再起動、状態同期の切断、ポリシー変更の影響をそれぞれ確認します。測定した復旧時間と既存接続の維持状況が業務要件に合っているかを確認し、不足があれば、機器の配置や運用手順を調整し直します。
この節の出典 IETF RFC 6192 · Cisco Design Zone
よくある質問↑
企業ネットワークは、必ずコアネットワーク・ディストリビューション・ネットワークアクセスの3層構成にする必要がありますか?
機能を細かく分離するほど、安定性は高まりますか?
仮想機器を使う場合も、役割の分離といえますか?
用語集↑
この記事で使用した主要な用語の一覧です。各用語の説明は全体の用語集で確認できます。
- ネットワークアクセス
- ユーザーや端末がネットワークに最初に接続する、有線または無線の境界の役割です。
- データプレーン
- 登録された転送情報を実際のパケットに適用する転送処理の領域です。
- コントロールプレーン
- 隣接関係や経路、状態を把握・計算し、データプレーンで使う情報を作る機能です。
- 障害ドメイン
- 1つの構成要素の故障や変更の失敗によって、同時に影響を受けるシステムとユーザーの範囲です。
- アウトオブバンド管理
- 本番のデータネットワークとは分離された経路を使って機器を管理する方式です。
- 状態同期
- 冗長構成の機器間でセッションやポリシーなどの状態を共有し、切り替え時に動作を継続できるようにする機能です。
- ネットワークセグメンテーション
- 通信範囲とポリシーを、複数の論理的または物理的な領域に分ける設計です。
- ワイヤレスアクセスポイント
- クライアント端末をネットワークに接続する無線アクセスポイントです。
出典
- IETF RFC 1122 — インターネットホストの階層別の通信要件
- IETF RFC 1812 — IPv4ルーターの転送・制御要件
- IETF RFC 6192 — ネットワークインフラ機器の管理インターフェイスの保護
- Cisco Design Zone — ベンダーの設計例と検証文書への公式の入口
- IETF RFC 3022 — NAT/NAPTが担うアドレス・ポートの変換
- NIST SP 800-41 Rev. 1 — ファイアウォールのポリシーとNATを区別するセキュリティー指針
この記事は、製品の台数やスループットを唯一の正解として示すものではありません。具体的な冗長化と性能は、選択したプラットフォーム・バージョンと試験結果を確認する必要があります。