ネットワークインフラを理解する · 第4部 · 学んだ原理で実際のネットワークをどう設計するか
機器が1台故障すると、どこまで一緒に止まるのか
機器が2台、リンクが2本あっても、1つの事故で同時に止まることがあります。別々に見える接続が、同じ電源や配管、共通サービスに依存しているかもしれないからです。同じネットワークで機器の故障、電源の停止、配管の損傷をそれぞれ想定し、どの業務まで同時に止まることを許容できるか考えます。
目次に戻る故障した機器と、停止する業務の範囲は一致しない ↑
障害ドメインは、故障した部品の場所だけを指すのではありません。その部品の故障によって影響を受けるエンドポイントや業務も含みます。1つの原因が複数の場所で症状となって現れることがあるため、原因と症状を分けて記録する必要があります。
A1 が停止すると、A1 だけに接続された PC-A は接続を失います。A2 の PC-B は接続を維持できるかもしれません。しかし、両エンドポイントが使う認証サーバーが A1 の先にしかなければ、PC-B でも業務への新たなログインができない場合があります。PC-B の物理リンクは正常でも、業務にはアクセスできない状況です。
このとき「A1 に接続されたエンドポイントだけが影響を受ける」と記すと、共通サービスへの依存関係が抜け落ちます。故障した機器から、直接切れた接続を調べ、その接続を必要とする業務まで順にたどります。認証済みのセッションと新たなログインでは結果が異なる場合があるため、ユーザーの操作も具体的に記録します。
障害ドメインを絞り込むには、同じ業務を正常に行えるエンドポイントとも比較する必要があります。別の区間で同じ業務を試し、アドレス・名前解決・認証・応答がどこまで同じかを照合します。1回の成功はサービス全体が常に正常だという証拠にはなりませんが、共通する部分と異なる部分を探す手がかりになります。
障害ドメインは機器の一覧だけでなく、業務の機能でも記述します。同じスイッチにつながるプリンターと認証サーバーが一緒に止まると、エンドポイントの数から想像するより広いサービスへの影響が生じる可能性があります。直接切れる接続と、その機能への依存によって後から失敗する業務を区別して記録します。
設計者は、障害ごとに予想される停止範囲を、業務上許容される範囲と比較します。小規模な現場では、全体が停止してから機器を交換する対応を受け入れられるかもしれません。別の現場では、一部の区域だけが止まるように構成を分ける必要があるかもしれません。障害ドメイン自体を小さくするよりも、どの業務要件を満たすために分けるのかを明確にすることが先です。
電源・配線・論理接続・サービスの依存関係を重ねる ↑
同じネットワークには、さまざまな障害の境界が重なっています。物理構成図1枚やVLANの一覧だけで、すべての障害の影響範囲を判断することはできません。
物理的な依存関係は、機器への電源入力から PDU、給電回路までたどります。光ケーブルも、ポートが別であることより、建物間でどの配管を通るかが重要です。D1 と D2 が別の機器でも、同じ回路や配管に依存していれば、電源の停止や配管の損傷で両方の接続が失われる可能性があります。
論理的には、VLANがどこまで延び、どこにルーティングの境界があるかを見ます。1つのL2の問題が同じVLANを共有する区間に影響する場合があります。しかし、ルーティングの境界があれば、すべてのサービス障害をその中に封じ込められるわけではありません。上位経路や共通の制御機能への依存関係は、別に確認する必要があります。
サービス層では、名前解決・認証・アドレス割り当て・業務サーバーを関連付けます。DNSサーバーが2台あると一覧に書かれていても、両サーバーが同じ仮想化ホストやストレージ上にあれば、同じ障害に巻き込まれる可能性があります。サーバーのアドレスが別でも、共通のホストやストレージが止まれば、両サーバーとも使えなくなります。
共通のDNSがあるというだけで、すべての通信が直ちに同時停止するとも断定できません。すでにアドレスを知っている通信と、新たに名前解決が必要な要求では、影響を受ける時点が異なる場合があります。依存する機能と、それを使う時点を併記してこそ、予想した障害ドメインと実際の観測を比較できます。
最後に、管理経路と変更の仕組みを重ねます。業務の障害時に使う管理用の接続が同じ経路に依存していないか、同じ設定テンプレートが複数のブロックに一度に適用されないかを図に示します。ユーザーのパケット経路に加え、管理接続と設定配布の経路まで描くと、機器を冗長化しても運用中に同時停止しうる箇所を見つけられます。
下のネットワークでは D1・D2 に経路を分けています。しかし、両機器の給電回路は1つで、2台のDNSサーバーを動かすホストも1つです。パケットが通る実線に電源・サービスの依存関係を重ねると、機器が2台あっても同時に止まりうる箇所が見えてきます。
↔ 図は左右にスクロールできます。
D1 と D2 の電源・配管・設定変更の経路を別々にたどります。機器が2台あっても、共通部分の問題で両方が止まりうる箇所が分かります。
↔ 図は左右にスクロールできます。
1つの事故で2本の経路が同時に切れないか確認する ↑
機器とリンクが2つずつあっても、同じ原因で両方が止まることがあります。電源や配線の何を分離し、どの区間を共有したままなのか確認する必要があります。
D1・D2 の電源ケーブルを別々の電源タップに差したとします。両タップが同じ給電回路につながっていれば、回路の故障に対する独立性はありません。電源タップ1つの故障には役立っても、回路全体が止まれば両機器とも停止する可能性があります。試験表では、電源タップの故障と給電回路の停止を別の行に分けます。
光リンクも、2つのポートを使いながら同じ配管 X を通る場合があります。リンク1本を外す試験では代替経路が残っても、配管の損傷では両方を失います。独立した経路 Y を追加したら、配線記録と現場を照合し、X と Y が実際に別の経路を通るか確認します。図面で色を分けても、実際の配管が同じなら2本のリンクは同時に切れる可能性があります。
共通のソフトウェアや設定ミスは、別の種類の共通原因です。同じ機種と設定は運用の一貫性を高める一方、1つの不具合や誤った変更が両機器に影響する可能性も評価する必要があります。ただし、これを理由に無条件で異なる種類の機器を混在させると、管理や相互運用のリスクが新たに生じます。その選択にも根拠が必要です。
経路の分離を確認できていないなら、文書にも未確認と記します。回線事業者が違っても、建物への引き込み配管や途中の設備を共有している可能性があります。契約上の経路分離と、実際に確認できる物理経路は区別します。確認できない共通区間は、残るリスクとして記録する必要があります。
可用性の計算で2台の機器の故障確率を単純に掛け合わせるには、独立性などの仮定を先に説明する必要があります。ここでは、未確認の確率から可用性を計算するのではなく、障害ごとにどの機能が動作を続けるかを見ます。検証できない共通原因は、別のリスクとして記録します。
許容する影響を超える箇所で設計と変更の単位を分ける ↑
障害の影響を抑えるには、必要な通信を維持しながら、ある区域に問題が起きても別の区域の業務を続けられるよう、機器と経路を分けて配置します。すべての区間を細かく分けると、管理する接続とポリシーが増えるだけかもしれません。業務に必要な範囲で分離することが重要です。
まず、別の通信機器室にあるエンドポイントが、同じL2区間に属する必要があるかを確認します。必要なのがIP通信だけなのにVLANを複数の場所へ延ばしているなら、ルーティングの境界を端末側へ近づける案と比較できます。アドレスの移動やL2での隣接性を必要とするアプリケーションがある場合は、その条件を先に検討しなければなりません。
設計の単位と変更の単位も照合します。ブロック A の保守中もブロック B を稼働させる必要があるなら、両ブロックを一度に変更する共通作業が残っていないか確認します。機器を分けても、同じ自動化された変更を同時に適用すれば、変更の影響は広い範囲に及ぶ可能性があります。
アドレス計画をブロックに対応させると、範囲を説明したり、集約ルートを作ったりしやすくなります。ただし、アドレス範囲を整理するだけで、物理障害や共通サービスの停止を封じ込められるわけではありません。アドレスの境界、VLANの範囲、電源と配線の境界を同じ図面で比較し、一致しない箇所の理由を記録します。
ここでは、1つの故障がどの機器や業務に影響するかを先に整理します。代替経路への切り替え速度は、冗長化の記事で別に扱います。障害ドメインを分ける設計と、実際の切り替え時間を測る試験は、それぞれ必要です。
故障の発生箇所によって、接続を失うエンドポイントや残る経路は異なります。4種類の障害で、どの機能を失うかを比較します。
↔ 図は左右にスクロールできます。
分離によって増える運用責任も設計に含める ↑
障害ドメインを分けると、新たな接続や管理項目が生まれます。分離によって減る影響と、その代わりに増える運用の複雑さを比較してこそ、実際に維持できる設計になります。
VLANやルーティングの境界を増やすと、管理するアドレス・経路・ポリシーも多くなります。共通サービスを複数の場所に配置するなら、データと設定を一致させ、障害の検知・復旧手順を用意する必要があります。機器を追加すれば終わりではありません。運用中も設定とポリシーの整合を保ち、障害時の切り替えを継続的に点検する必要があります。
区間ごとの担当者が決まっていないと、障害時に一時的な迂回や例外ポリシーに頼りがちです。どのチームが設定を変え、誰が業務への影響を確認し、どこに切り戻し用の資料を保管するか記録します。設計図の単位と運用責任の単位が一致しないと、小さな変更でも確認や対応を担当するチームが分からなくなる可能性があります。
現在の人員や点検体制では維持しにくい構成なら、より単純な案も比較します。単純な構成でも停止範囲や復旧時間の要件を守れるか確認し、満たせない部分は受け入れなければならないリスクとして記録します。設計の優劣は機器数や図面の複雑さではなく、必要な可用性を実際に維持できるかで判断します。
範囲を細かく分けると、接続やポリシーの管理項目が増える場合があります。逆に大きくまとめると、1回の変更が広い範囲に影響します。どちらかが常に優れていると決めず、運用者が扱える複雑さと、業務上許容できる停止範囲を同じ比較表に並べて判断する必要があります。
最後に、障害ごとの影響表と、機器・サービスの依存関係を示す図面を残します。機器・配管・電源・サービスのいずれかを失ったときや、変更に問題が生じたとき、どの業務が残るかを運用者が読み取れる必要があります。実際の事故では予想と観測を照合し、設計時に想定しなかった障害が発生したかを調べられます。
この記事の用語集 ↑
この記事の用語の意味と参考となる英語表記は、用語集でも確認できます。
- 障害ドメインfailure domain
- 1つの構成要素の故障や変更の失敗によって、同時に影響を受けるシステムとユーザーの範囲です。
- パソコンPC
- 例の中で通信端末として使うパーソナルコンピューターです。
- サーバーserver
- クライアントに機能やリソースを提供する、システムまたはソフトウェアの構成要素です。
- 名前解決name resolution
- 名前に対応するアドレスや、そのほかのリソース情報を取得する過程です。
- DNSDNS
- ドメイン名を IP アドレスなど、必要なリソースレコードへと名前解決する分散システムです。
- VLANVLAN
- スイッチングネットワークを、異なるリンク層のブロードキャストドメインに分ける Virtual LAN です。
- ネットワークアクセスnetwork access
- ユーザーや端末がネットワークに最初に接続する、有線または無線の境界の役割です。
- エンドポイントendpoint
- 途中で転送するノードではなく、通信の一方の端で送受信する装置またはソフトウェアの終端です。
- IPIP
- ネットワーク間でパケットのアドレスを示し、経路に沿って転送する Internet Protocol の系列です。
- パケットpacket
- 送信元から宛先へ転送する、ネットワーク層のプロトコルデータ単位です。
- PoEPower over Ethernet
- イーサネット接続を通じてアクセスポイントや電話機などに電力を供給する技術です。機器全体の電力予算と、ポートごとの給電上限・電力ネゴシエーションの条件は区別する必要があります。
- L2Layer 2
- フレームとリンク層のアドレスを扱う、データリンク層の文脈を指します。
- 集約ルートroute summary
- 複数の連続した下位プレフィックスを 1 つの上位プレフィックスとしてアドバタイズし、ルート数を減らす表現です。
- ルーティングrouting
- 宛先プレフィックスへの経路を選び、転送情報を設定または利用する処理です。
- スイッチスタックswitch stack
- 複数の物理スイッチを1つの論理システムとして運用する構成です。あるメンバーだけに依存するポートや電源は、そのメンバーの故障時に利用できなくなることがあります。
- スイッチswitch
- 学習した情報または設定された情報に基づいて、リンク層のドメイン内でフレームを転送する装置または機能です。
- ポートdevice port
- トランスポート層のポート番号とは区別される、スイッチやルーターなどのネットワーク機器上の物理的または論理的なインターフェイスの位置です。
- ワイヤレスアクセスポイントwireless access point
- クライアント端末をネットワークに接続する無線アクセスポイントです。
対象範囲と参考資料
技術的な原理は、以下の公式資料を参考にしています。本文の機器配置や障害の状況は、説明のための例です。実際の現場での測定結果や、製品の保証性能とは区別してください。
- Campus LAN and Wireless LAN Solution Design Guide — キャンパスネットワークの各階層の役割と設計方式の基本資料です。階層を分ける原理を参照しました。現在の製品の性能や対応する組み合わせは、その製品の資料で確認する必要があります。
- Troubleshooting Overview — 症状と事実の収集、仮説の検証、変更と結果の記録という問題解決の手順を参照しました。例に挙げた障害原因は、独自に設定した仮定です。
- Campus Network for High Availability Design Guide — キャンパスネットワークの障害経路・復旧・設計検証の参考資料です。本文の障害状況は、原理を説明するために想定したものです。
- Cisco Catalyst 9300 Series Switches — StackWise Architecture — 論理スタックと物理メンバーの区別を参照しました。本文はポートと電力の依存関係を説明しており、製品の数値仕様を引用したものではありません。
- High Availability Campus Network Design — Routed Access Layer — アクセス層にゲートウェイを置く L3 境界と、従来のレイヤ2アクセスとの区別を参照しました。機器の性能値は引用していません。
実際のネットワークに適用する際は、使用する機器・ソフトウェアの対応条件を確認し、現場で必要な動作を試験してください。