ネットワークインフラを理解する · 第4部 · 学んだ原理で実際のネットワークをどう設計するのか
スイッチとルーターを障害に備えてどう冗長化するのか
複数の通信室を結ぶ2階層構成では、各ネットワークアクセス機器から集約装置 D1·D2 への2本の経路を設けられます。しかし、ケーブルが2本、あるいは装置が2台あれば、実際の障害時にも業務を続けられるのでしょうか。スイッチの物理接続、エンドポイントのゲートウェイ、上位のルーティング、接続状態を分けて、どの機能を誰が引き継ぐ必要があるのかを見ていきます。
目次に戻る1台が停止しても、どの業務を続ける必要があるのか↑
冗長化は、装置の故障や保守作業中にも必要な業務を続けるために行います。装置を2台設置する前に、何が故障しても、どの業務を維持するのかを決める必要があります。
小さなオフィスでは、予備装置への交換にかかる時間を許容できる場合がありました。一方、PC-A が内部サーバー App-S との取引を継続する必要があるなら、交換を待つ方法は適さないかもしれません。業務担当者とともに、新規接続の短時間の失敗を許容するのか、進行中の作業を失ってはいけないのかも、区別して決めます。
備える障害も分けて考えます。ケーブルが1本切れる場合、スイッチ1台の電源が落ちる場合、ルーターの上位への経路が切れる場合では、使えなくなる機能と経路が異なります。故障時だけでなく、計画的なソフトウェア保守中にも業務の継続が必要なことがあります。設計書には、障害ごとに停止する機能と動き続けるべき機能を並べて記します。
2階層構成の例では、A1 は D1·D2 にそれぞれ L3 で接続します。D1 が停止しても D2 経由でサーバーへ到達できるように設計します。ただし、PC-A が A1 にしか接続していなければ、A1 の故障時に接続を失うことは防げません。図面には、D1 の故障後に残る経路と、A1 の故障時に切り離されるエンドポイントを併せて示します。そうすることで、2本のアップリンクでどの障害にまで備えられるのかが分かります。
2台が同じ電源や管路に依存していると、電源停止や管路の損傷で同時に停止する可能性があります。障害ドメインの設計で確認した依存関係を、ここでも引き継いで考えます。個々の装置に代替を用意することと、共通原因を分離することは別の備えです。一方を試験しても、もう一方まで確認したことにはなりません。
同じ二重アップリンク構成でも、故障箇所によって結果は異なります。左は D1 が停止した場合、右は PC-A の唯一の接続先である A1 が停止した場合です。上位の装置が残っているだけでは、PC-A の接続までは維持できません。
↔ 図は左右にスクロールできます。
スイッチ2台とケーブル2本では何が違うのか↑
リンクの冗長化は1本の接続の障害に、装置の冗長化は装置が提供する機能の障害に備えます。2本のケーブルを同じスイッチにつないでいれば、そのスイッチの電源が落ちると、両方の経路が使えなくなります。
2台のスイッチ間の複数リンクをリンクアグリゲーション(この例では EtherChannel)で束ねると、メンバーリンクが1本切れても、残るリンクでデータを送れます。ただし、残存容量は減り、どのフローがどのリンクを使うかも変わります。リンクの合計容量と単一フローの速度の関係には、リンクアグリゲーションの記事で説明した条件がそのまま当てはまります。
接続相手が独立した2台のスイッチなら、事情は変わります。2台を1つの論理的な接続相手として動作させる、サポートされたスイッチスタックやマルチシャーシ方式が必要です。その対応条件に沿ってリンクアグリゲーションを設計します。任意のスイッチ2台にケーブルを分けて接続し、LACP を有効にするだけで、自動的に1つの束になるわけではありません。
独立した装置を L2 経路で接続する構成では、STP がループを防ぐため、一部の経路で転送を止めることがあります。代替経路があることと、平常時に両方のリンクを使うことは区別します。一方、2階層構成の例にある L3 アップリンクは、STP ではなくルーティングで経路を選びます。代替経路であっても、L2 構成と L3 構成の動作は分けて考える必要があります。
スイッチスタックも、切れたエンドポイントのケーブルを別のポートへ移してはくれません。A1 にしか接続していない PC-A は、A1 の電源が失われると物理接続を失います。A2 に接続したエンドポイントとアップリンクが正常でも、PC-A は通信できません。重要なエンドポイント自体に代替接続が必要かどうかも、別の要件として決める必要があります。
試験表では、ケーブルの切断、スイッチの故障、スイッチスタックの接続切断を別々の行に分けます。それぞれの試験で、エンドポイントのポート、ワイヤレスアクセスポイントの電源、上位への経路、管理用接続がどうなるかを確認します。製品が提供する制御の切り替えと状態保持の範囲は、実際のモデル・ソフトウェア・接続方式で確認します。1製品の試験結果をすべてのスイッチスタックに当てはめることはできません。
同じスイッチへの2本のケーブルと、スイッチスタックのメンバーに分散して接続したアップリンクを比べます。右の構成でも、A1 にしか接続していない PC-A は、A1 の故障時に接続を失います。
↔ 図は左右にスクロールできます。
ゲートウェイ1台が停止したら、パソコンはどこへ送るのか↑
デフォルトゲートウェイとなる装置が故障してもパソコンが通信を続けるには、別の装置がゲートウェイの役割を引き継ぐ必要があります。ここでは、先ほどの2階層構成とは異なるレイヤ2アクセスの比較構成を使います。パソコンの VLAN が GW1·GW2 まで延びる構成です。
PC-A は 10.60.10.21/24 で、デフォルトゲートウェイは仮想 IP アドレス 10.60.10.1 とします。HSRP や VRRP のようなファーストホップ冗長化プロトコルは、複数のルーターが仮想ゲートウェイの役割を引き継げるようにします。同じ機能に対応した L3 スイッチも、このルーターの役割を担えます。
平常時は、アクティブな GW1 が仮想ゲートウェイとしてトラフィックを転送します。一般的な仮想 MAC を使う構成では、PC-A は仮想 IP に対応する仮想 MAC を宛先としてフレームを送ります。図中の仮想 MAC は関係を示すための記号であり、HSRP と VRRP の実際のアドレス形式が同じという意味ではありません。
GW2 が GW1 の障害を検知して役割を引き継ぐと、PC-A はゲートウェイ IP 設定を変更せずに、同じ仮想ゲートウェイへ送信を続けられます。そのとき、スイッチでの仮想 MAC の転送先と、新たなアクティブ装置のルーティング・ポリシーも一致していなければなりません。アクティブな役割が切り替わった後も、実際のフレームが新しい装置へ転送されるまで時間がかかる場合があります。
この切り替えで、NAT マッピングやファイアウォールの接続状態、VPN の暗号化接続の状態まで自動的にコピーされるわけではありません。ファーストホップの冗長化は、エンドポイントがゲートウェイを使い続けられるようにする機能です。2階層構成の例では、このゲートウェイは A1 にあります。D1 の故障は、パソコンの HSRP の切り替えとそのまま呼んではいけません。障害後に代替経路を使う点は同じに見えても、2つの構成では、ゲートウェイの位置と、切り替える対象が異なります。
ファーストホップの冗長化試験では、パソコンのゲートウェイ情報、アクティブな役割、仮想 MAC の転送先、リクエストと応答の実際の経路を併せて記録します。プロトコルごとの用語と動作は、それぞれの文書で確認します。HSRP の Active·Standby と、VRRP の役割の名称は、各プロトコルの状態と切り替え手順に沿って区別して使います。
この図は、パソコンの VLAN を GW1·GW2 まで延ばした別の L2 構成です。GW1 が停止すると、仮想ゲートウェイの役割が GW2 に移ります。
↔ 図は左右にスクロールできます。
ゲートウェイは動いていても、その先の経路だけが切れたらどうなるのか↑
装置が動いていることと、目的地に届くことは別です。パソコンがゲートウェイから応答を受け取れても、そのゲートウェイから業務用サーバーへの経路が切れていれば、業務は失敗することがあります。
先ほどの L2 比較構成で、GW1 の利用者側インターフェイスは稼働し、上位への接続だけが切れた場合を考えます。ファーストホップ冗長化プロトコルが監視する条件にそのリンクの切断が含まれていなければ、GW1 がアクティブな役割を維持することがあります。どのインターフェイス、経路、到達性を追跡し、その結果に応じて役割をどう調整するかを、この構成で決める必要があります。
上位への接続が切れても、GW1 自身に別の正常な経路があれば、ゲートウェイの役割はそのままにできる場合があります。アクティブな装置が別の経路を選ぶことと、ゲートウェイの役割自体を移すことは区別します。追跡する対象が実際の業務経路と合っていなければ、正常な装置を不要に切り替えたり、障害を見逃したりする場合があります。
2階層構成のルーテッドアクセスに戻ると、PC-A のゲートウェイは引き続き A1 にあり、変わるのは D1 を経由していた上位の経路です。A1 が障害を検知し、経路情報を変えて実際の転送情報に反映して初めて、D2 へ送れます。RIB が変わっただけでなく、FIB に反映され、実際のパケットが新しい経路を使うことまで確認します。
サーバーが A1 のサブネットへ応答を返す経路とポリシーも、D2 を経由して動作する必要があります。リクエストが D2 へ出ていくことを確認したら、応答が戻るかも続けて確認します。経路のトラッキングとファーストホップの冗長化は互いを補えますが、有効にするだけでは、目的地まで通信できるかは分かりません。
2階層構成のルーテッドアクセスに戻ります。D1 が停止しても、PC-A のゲートウェイは A1 に残ります。変わるのは、A1 からサーバーへ向かう上位の経路であり、D2 を使います。
↔ 図は左右にスクロールできます。
新しいパケットは届くのに、既存の接続はなぜ切れるのか↑
代替経路ができても、既存の接続に必要な状態がなければ、利用者は再接続しなければならない場合があります。パケットが再び転送された時刻と、アプリケーションの処理が完了した時刻を別々に記録することで、この違いが分かります。
PC-A が E1 を経由してインターネットへ接続し、E1 がアドレスとポートを変換していたなら、応答を元に戻すためのマッピングが必要です。E2 に経路だけがあっても、マッピングがなければ、既存の応答を元のエンドポイントへ返せない場合があります。このマッピングの問題は、NAT を通るトラフィックの話であり、NAT を使わない内部通信とは区別します。
ステートフルフィルタリングを行うファイアウォールの接続情報と、VPN のセキュリティ接続の状態も、別々に確認する必要があります。どの状態をいつ同期し、切り替え後にどの種類の接続が維持されるかは、実装によって異なります。HSRP・VRRP やルーティングによる経路変更だけで、これらの状態まで同期されるわけではありません。
説明用の時系列で、障害を 0 ms、検知を 40 ms、新しい経路の選択を 120 ms、試験用パケットの往復を 180 ms、業務トランザクションの完了を 900 ms とします。これは実際の試験値でも、製品の保証値でもありません。1回の障害後でも、検知、経路の選択、パケットの往復、業務の回復が異なる時点で完了することを示す仮の値です。
業務の回復が遅れる理由は、再送、新規接続、認証、アプリケーションの再試行待ちかもしれません。実際の原因は測定で区別する必要があり、業務トランザクションの完了時刻までをすべてルーティングの収束時間として計算することはできません。既存の接続を維持する試験と、新たな利用者が接続を開始する試験を別々に行うことで、既存接続と新規接続への影響を区別できます。
試験結果には、どの種類の接続と実際の業務を確認したかを記します。保存処理が成功したのか、単に応答を受け取っただけなのかも区別します。一部のパケットが戻っても、他のセッションは切れたままの場合があります。どの業務が維持され、どの業務に再接続が必要だったかを記録することで、冗長化の効果と残る問題を運用者に正確に伝えられます。
同じ障害について、障害の検知、経路の選択、パケットの往復、業務の完了を別々の時点で示しています。最後の業務完了時刻までの全体をルーティングの収束時間として計算してはいけない理由を示しています。
↔ 図は左右にスクロールできます。
片側だけになっても、需要に応え、ポリシーを維持できるのか↑
障害後は、経路の有無だけでなく、残る資源が同じ業務を処理できるかを確認する必要があります。平常時の余裕を2台に分散して使っていたなら、片側の故障後には、その余裕が失われる可能性があります。
2階層構成の例では、ネットワークアクセス装置ごとに、8 Gbps の需要がその装置から D2 へ向かう 10 Gbps リンク1本に集まると、容量に対する単純な比率は 80% でした。3台のネットワークアクセス装置からの合計 24 Gbps が D2 の 40 Gbps のサービス接続に集まると、その比率は 60% でした。同じ障害でも、接続リンクと集約リンクでは余裕が異なるため、片側の比率だけを見て、全体の容量が十分だとは判断しません。
接続が回復すると、再接続や先送りされていた処理が一度に押し寄せ、通常よりトラフィックが増えることがあります。リンクごとの破棄・遅延と業務完了時刻を併せて記録し、CPU 負荷、セッション数の制限、回線のボトルネックも確認します。平均使用率が低くても、短時間の過負荷が起きていた可能性があるため、測定の合間に見逃した区間がないかを調べます。
セキュリティ装置を通る経路では、ポリシーと検査機能を有効にした条件で容量を確認します。検査を止めたり、来客の通信への遮断を解除したりしてスループットが増えても、必要なセキュリティ条件を満たした状態のスループットとはみなせません。通常の装置と代替装置が許可・遮断する代表的な通信を、同じ条件で確認する必要があります。
業務が再開しても、片側の装置や経路しか残っていなければ、次の故障に備える余裕は減っています。残る経路の負荷、追加の故障による影響、修理と復帰の計画を別途伝えます。サービスが使えることと、元の冗長性が回復したことを区別することで、次の保守の緊急度も正確に判断できます。
修理した装置を戻しても、業務を継続できるのか↑
復帰は、元の装置の電源を入れるだけの作業ではありません。経路、役割、状態が再び変わる2度目の切り替えです。障害時の切り替えがうまくいっても、復帰の過程は別途試験する必要があります。
復帰させる D1 や GW1 のソフトウェア、設定、ポリシーが現在の運用基準と一致するかを先に確認します。障害対応中に D2 へ反映した変更が、復帰させる装置には入っていないこともあります。隣接関係が成立し、リンクが稼働したことだけでなく、その装置が現在の設定とポリシーでトラフィックを処理する準備ができているかを確認する必要があります。
プリエンプトや経路の自動復帰が設定されていると、接続した瞬間にトラフィックが移る場合があります。自動復帰の条件、待ち時間、手動制御の可否を、製品文書と現在の設定で確認します。単にケーブルをつなぐだけと思っていた作業が利用者に再び中断をもたらさないよう、作業時間を決め、経路とトラフィックを確認する担当者を配置します。既存のセッションを確認する業務担当者も、切り替え時に立ち会います。
復帰後は、既存接続と新規リクエスト、双方向の経路、負荷、拒否すべき通信が引き続き拒否されることを再確認します。想定と異なる結果が出たら、承認された中止条件に従って代替運用の状態へ戻します。戻すための管理用経路と設定を用意しないまま、復帰試験を始めてはいけません。
最終記録には、平常時、代替運用、復帰準備、復帰後の保護水準を区別して残します。この基準は、次の複数ブロックのコアネットワークの設計にも適用します。コアネットワークを追加するときも、備える障害と他の装置が引き継ぐ機能を先に決め、設計の検証で実際に観察した範囲だけを結果として記録します。
D2 だけで業務が戻った状態と、D1 を戻して冗長性が回復した状態は異なります。復帰中に問題が出た場合に、どこへ戻すのかも決めておきます。
↔ 図は左右にスクロールできます。
この記事の用語↑
この記事での意味と英語の参考表記は、用語集全体でも併せて確認できます。
- ネットワーク収束network convergence
- ネットワークの変更後に、関連する経路と転送状態が新しい条件に合わせて安定する過程です。経路の安定、実際のパケット転送、業務の完了をそれぞれ別の時点で観察し、アプリケーションの復旧と同一視しません。
- 障害ドメインfailure domain
- 1つの構成要素の故障や変更の失敗によって、同時に影響を受けるシステムとユーザーの範囲です。
- レイヤ2アクセスLayer 2 access
- アクセス区間の VLAN を上位のゲートウェイまでレイヤ2で延伸する設計方式です。上位機器でルーティングする構成と、アクセスレイヤでルーティングする構成を区別する際に用います。
- ルーテッドアクセスrouted access
- アクセスレイヤが端末のゲートウェイとルーティングを担い、アップリンクをレイヤ3接続とするキャンパス設計方式です。
- HSRPHot Standby Router Protocol
- Cisco のファーストホップ冗長化プロトコルです。仮想ゲートウェイの役割の引き継ぎと、ほかのルーティング・NAT・アプリケーションの状態の復旧は区別する必要があります。
- パソコンPC
- 例の中で通信端末として使うパーソナルコンピューターです。
- サーバーserver
- クライアントに機能やリソースを提供する、システムまたはソフトウェアの構成要素です。
- VLANVLAN
- スイッチングネットワークを、異なるリンク層のブロードキャストドメインに分ける Virtual LAN です。
- ファイアウォールfirewall
- ポリシーと、必要に応じて通信の状態に基づいて、トラフィックを許可または遮断するセキュリティ機能です。
- ステートフルフィルタリングstateful filtering
- 記録した接続またはフローの状態を、ポリシー判断の一部として用いるパケットフィルタリングです。
- NAT マッピングNAT mapping
- NAT 機能が維持または設定する、変換前の通信識別値と変換後の識別値との対応関係です。
- NATNAT
- IP パケットのアドレスを別のアドレスに対応付け、変換する機能を広く指す名称です。
- ネットワークアクセスnetwork access
- ユーザーや端末がネットワークに最初に接続する、有線または無線の境界の役割です。
- コアネットワークcore network
- 主要なディストリビューション区間、事業者ネットワーク区間、地域ネットワーク区間を相互接続する、ネットワークの中心となる階層です。
- エンドポイントendpoint
- 途中で転送するノードではなく、通信の一方の端で送受信する装置またはソフトウェアの終端です。
- ゲートウェイgateway
- あるネットワークまたはプロトコルの文脈から、別の文脈へ出ていく経路を提供するシステムです。
- IPIP
- ネットワーク間でパケットのアドレスを示し、経路に沿って転送する Internet Protocol の系列です。
- パケットpacket
- 送信元から宛先へ転送する、ネットワーク層のプロトコルデータ単位です。
- VPNVPN
- 共有インフラストラクチャの上に、論理的に私的な接続を作る Virtual Private Network です。
- L2Layer 2
- フレームとリンク層のアドレスを扱う、データリンク層の文脈を指します。
- L3Layer 3
- IP パケットとルーティングを扱う、ネットワーク層の文脈を指します。
- デフォルトゲートウェイdefault gateway
- 端末がローカルネットワークの外にある宛先へパケットを送る際に選ぶ、最初のルーターのアドレスです。
- FIBFIB
- データプレーンがパケット転送に使用する Forwarding Information Base です。
- RIBRIB
- 候補経路と選択された経路の情報を管理する、制御プレーンの情報構造です。
- ルーティングrouting
- 宛先プレフィックスへの経路を選び、転送情報を設定または利用する処理です。
- VRRPVRRP
- 複数のルーターで共有する仮想デフォルトゲートウェイアドレスを提供する Virtual Router Redundancy Protocol です。
- LACPLACP
- 集約するリンクのメンバーを協議し、維持するための Link Aggregation Control Protocol です。
- リンクアグリゲーションlink aggregation
- 容量と耐障害性を高めるため、複数の物理イーサネットリンクを1本の論理リンクとして扱う仕組みです。LACP を使う方式だけでなく、静的に構成する方式も含みます。
- スイッチスタックswitch stack
- 複数の物理スイッチを1つの論理システムとして運用する構成です。あるメンバーだけに依存するポートや電源は、そのメンバーの故障時に利用できなくなることがあります。
- STPSTP
- レイヤー 2 のループを防ぐために、冗長経路の一部を遮断する Spanning Tree Protocol です。
- スイッチswitch
- 学習した情報または設定された情報に基づいて、リンク層のドメイン内でフレームを転送する装置または機能です。
- ポートport
- IP アドレスおよびトランスポートプロトコルと組み合わせて、アプリケーションの通信端点を区別するトランスポート層の識別子です。
- ポートdevice port
- トランスポート層のポート番号とは区別される、スイッチやルーターなどのネットワーク機器上の物理的または論理的なインターフェイスの位置です。
- ワイヤレスアクセスポイントwireless access point
- クライアント端末をネットワークに接続する無線アクセスポイントです。
記述の範囲と参考文献
技術の原理については、以下の公式文書を参考にしました。別途示した装置の配置とアドレス、負荷・時間の値は、説明のための例です。実際の現場での測定結果や、製品の保証性能とは区別してください。
- Campus LAN and Wireless LAN Solution Design Guide— キャンパスの階層ごとの役割と設計形態の基本的な出典。階層を分ける原理を参考にしています。現行製品の性能と、サポートされる組み合わせは、該当製品の文書で確認する必要があります。
- Campus Network for High Availability Design Guide— キャンパスの障害時の経路・復旧・設計検証の参考文献。本文の時間と負荷は、原理の説明のために仮定した値です。
- Cisco Catalyst 9300 Series Switches — StackWise Architecture— 論理的なスタックと物理メンバーの区別。本文ではポートと電源が各メンバーに依存する範囲を説明しており、製品の数値仕様を引用しているわけではありません。
- Catalyst 9300 IOS XE 26.x — Configuring EtherChannels— EtherChannel のフロー分散とハッシュの原理。特定のハッシュのデフォルト値や、すべてのモデルの動作を一般化していません。
- Network Services Configuration Guide — Configuring HSRP— 最初のホップの仮想 IP・MAC、アクティブ/スタンバイの役割、プリエンプトと Object Tracking。ゲートウェイの切り替え、上位経路の復旧、セッションの維持は、それぞれ確認する必要があります。
- RFC 9568 — VRRP Version 3 for IPv4 and IPv6— VRRP の仮想ルーターと役割の切り替え。HSRP の状態名・MAC アドレス形式とは混同しません。
- High Availability Campus Network Design — Routed Access Layer— ゲートウェイをアクセス側に置く L3 境界と、従来のレイヤ2アクセスの区別。装置の性能値は引用していません。
- RFC 3022 — Traditional IP Network Address Translator— アドレス・ポートの変換と逆方向のマッピングの原理。本文の NAT の例は、既存の接続にマッピング情報が必要な理由を説明しています。
- Cisco Secure Firewall ASA 9.18 — Failover for High Availability— 接続状態・NAT・VPN の同期範囲をそれぞれ確認するための出典。特定のリリースのサポートを、すべてのファイアウォールに当てはめていません。
実際のネットワークに適用するときは、使用する装置・ソフトウェアのサポート条件を確認し、現場で必要な動作を試験してください。