ネットワークインフラを理解する · 第6部 · 接続したネットワークの安全を保ち、障害から復旧する
設計したネットワークが障害に耐えられるかをどう確かめるか
図面に2つの経路を描いたら、実際の障害時にもサービスが維持されるかを試験します。どの故障を起こし、どの業務がどれくらいの時間で再び使えるようになるかをどう確認するのか、先に決めます。正常時の状態を記録する段階から、障害と復帰の試験、まだ確認できていない項目の引き継ぎまで、順に見ていきます。
目次に戻る起こす障害と復旧を確かめる方法を決める ↑
障害が起きても安定して動くこと、という要件だけでは、試験の開始と終了を決めにくくなります。どの故障を対象に、どのサービスが、どの条件を満たすべきかを具体化する必要があります。「安定している」という言葉を、実際の試験で確認できる基準に変えるのです。
教育用の例として、A1 の上位リンクが1本切れても、業務リクエストが3秒以内に再び完了することを目標とします。3秒はこの例で定めた試験基準であり、Cisco 装置の保証性能でも、すべての業務に適した目標でもありません。実際の値は、サービス担当者と運用担当者で合意する必要があります。
業務リクエストの開始と完了も定義します。新しい接続が成功すること、既存のセッションが維持されること、要求が実際に処理されて応答が返ることは、それぞれ別の試験です。決済や保存など、重複処理が問題になるサービスでは、再試行の結果もアプリケーション担当者と確認する必要があります。
失敗と判定する条件と、中止する条件は別々に設けます。目標時間を超えたという結果は試験の失敗です。想定外の範囲でサービスが停止したり管理アクセスを失ったりすることは、試験を直ちに中止して以前の状態に戻す条件になり得ます。こうした条件が生じたら、原因をさらに観察するために試験を続けるより、影響の拡大を防ぐことを優先します。
目標が衝突したときの優先順位も、試験前に決めます。損失を減らすための迂回であっても、セキュリティー上禁止された経路なら、有効な代替策にはなりません。通信を復旧しながら必要なセキュリティーポリシーを維持するには、維持する業務と、引き続き遮断すべき通信を同時に記しておく必要があります。
この要件に関わる装置と経路、使用した設定、試験環境を固定します。後でソフトウェアやポリシーが変わったら、以前の結果がそのまま有効かを改めて判断する必要があります。検証されたのは特定の条件における設計と動作であり、同じ製品名を使うすべての構成ではありません。
正常時の往復経路と負荷を先に記録する ↑
故障を起こす前にベースラインを用意しておく必要があります。それがあって初めて、結果がどれだけ変わったかを判断できます。単に現在は正常と書くのではなく、どのエンドポイントで、どのサービスが、どの経路を通り、どのような応答で動いているかを記録します。正常とする範囲が曖昧だと、障害試験の比較基準も揺らぎます。
PC-A のアドレス・ゲートウェイ・名前解決の結果と、宛先サービスのアドレス・ポートを固定します。同じ要求を一定の方法で繰り返し、正常時の完了時間とエラーの有無を残します。名前解決、接続の確立、認証、実際の業務応答を分けると、失敗した段階も明確に捉えられます。
ネットワークでは、各方向の転送経路と経路ごとの使用量を記録します。経路表に経路があることと、実際のパケットがそのインターフェイスから出ることは区別します。必要な範囲でカウンターを使うか、承認を得てパケットを観察し、機微な情報の収集は目的に応じて最小限に抑えます。
測定装置の時刻の基準も合わせます。異なる装置のログ時刻を比較するには、時計の同期状態と誤差を把握する必要があります。同期していない2つのログの差をそのまま故障検知時間や復旧時間として計算すると、実際の順序を誤って解釈するおそれがあります。
ベースラインの設定と測定ファイルは、対応関係を残します。試験後にどの設定から得られた結果か分からなければ、同じ条件での再現は困難です。記録時刻、環境を識別する情報、関連する変更を一緒に保管し、機微な運用情報は引き継ぎ先と保管権限に合わせて管理します。
トラフィックがほとんどない状態での試験は、混雑する時間帯とは結果が異なることがあります。試験する需要と背景トラフィックの条件を記し、正常時と故障時の比較で維持します。実運用の負荷を再現できなかった場合は、その限界を記録し、どの負荷で試験したかを結果とともに残します。
ベースラインも、配置図に記録する位置を示しておくと比較しやすくなります。PC-A では実際の業務応答を、A1・D1・D2 では転送経路と使用量を観察します。以下で指定した上位接続を後で試験するときも、同じ位置と条件で結果を比較する必要があります。
↔ 図は左右にスクロールできます。
障害ごとに停止する機能と残る経路・容量を記す ↑
試験項目はケーブルを抜く順序ではなく、設計で備えることにした障害を基準に作る必要があります。上位リンク1本、集約装置1台、電源1系統など、個別に検討した障害を分け、それぞれの障害で使えなくなる機能と経路を記します。
A1 の上位リンクを1本停止する試験では、残ったリンクで双方向に通信できるかを確認します。D1 を1台丸ごと除く試験では、その装置が提供していた経路と機能がすべて失われた条件を確認します。単一リンクの試験の成功を、装置全体の故障に対する検証の代わりにはしません。
共通電源や同じ管路など、共有部分に起因する障害は、さらに別の項目です。実際にその範囲を停止する権限と安全な試験環境がなければ、図面の確認や限定した模擬環境で確認することはできますが、実測していない部分は残ります。図面で確認した内容と、実際に障害を起こして測定した結果は、区別して記録します。
試験表には、影響を受けるエンドポイントとサービス、残る経路、残存容量、管理アクセスの方法を一緒に記します。業務通信が維持されても管理経路が失われることがあり、管理画面が開いてもユーザー向けサービスが失敗することもあります。両者を別々の列に残してこそ、復旧の可否まで検討できます。
本番ネットワークで試験するには、事前承認、作業時間帯、影響の告知、担当者への連絡、元に戻す手段が前提です。本文の図を本番ネットワークの試験に適用するには、現場の条件に合わせた試験計画と承認が先に必要です。本番ネットワークから分離した検証環境で先に観察し、その後で本番条件へ広げる範囲を決める必要があります。
上位リンク、D1 全体、共通電源、装置の復帰を、それぞれ別の試験に分けました。各試験で双方向の通信・残る容量・管理アクセスを何で確認するかを整理します。
↔ 図は左右にスクロールできます。
経路の変更と業務の復旧を別々の時刻で測る ↑
故障後にルーティングのログが安定したことは重要な観察結果ですが、業務の復旧の完了を意味するわけではありません。経路選択、転送状態への反映、実際のパケットの往復、アプリケーションの要求完了を分けて記録して初めて、どこで追加の時間が必要になったかを説明できます。
試験の開始時刻は、実際に障害が発生した時点を基準に決めます。運用担当者がボタンを押した時刻とリンクがダウンした時刻は異なることがあるため、使った観察点を記します。故障前の最後の成功と、故障後の最初の成功も残し、プローブ間隔による測定の限界を示します。
例えば 200ms ごとにプローブを送った場合、2回のプローブの間で状態が変わった正確な瞬間までは分かりません。最初に成功したプローブの応答が戻った時刻は分かっても、装置内部で復旧が完了した正確な時刻までは分かりません。プローブ自体の往復時間と、時刻の記録方法も解釈に含めます。
ICMP の応答が戻っても、業務用のポートが遮断されていたり、認証・名前解決・接続状態の処理に問題が残っていたりすることがあります。実際に使う業務リクエストを同じ条件で実行し、失敗した段階と応答内容を分けて記録します。ただし、試験トラフィックは承認された範囲に限定し、業務データを勝手に変更しないように構成します。
試験ツールに問題が起きたのか、実際のサービスに障害が起きたのかも区別する必要があります。プローブを送るエンドポイントが同じ障害区間で接続を失った場合、その結果だけでは宛先サービスの状態を判断できません。試験用のエンドポイントの位置と経路を記録し、必要に応じて独立した観察点の結果と照合します。
目標を満たした場合も、観察結果と適用条件を一緒に残します。どの故障で、どのサービスが、どれだけの時間で復旧したかを記し、プローブの時間分解能と観察できなかった区間を示します。報告書でもネットワークとアプリケーションの復旧時間を別々に記し、パケットの転送が再開した後、どの段階でさらに待つ必要があったかを分かるようにします。
200ms ごとに送ったプローブの結果を時間軸に示しました。2回のプローブの間の正確な復旧時刻は分からないため、測定間隔と最初の成功時刻を一緒に記録します。
↔ 図は左右にスクロールできます。
復帰とロールバックまで確認し、未検証の項目を引き継ぐ ↑
代替経路でサービスが復旧したら、次に、停止していた装置やリンクを再接続してみます。元の構成に戻る過程でも、経路の再分散、状態の同期、ポリシーの変更が起こることがあります。障害時に代替経路へうまく切り替わっても、元の構成に戻る過程は別に確認する必要があります。
復帰する装置のソフトウェアと設定が試験基準に一致するかを、先に確認します。隣接関係が確立したからといって、すべてのサービスが準備できたとは限りません。トラフィックが新しい経路へ移った後、既存のセッションと新規要求、負荷とエラーを再び観察する必要があります。
復帰中に想定外の影響が現れたら、事前に決めた中止条件に従って元に戻します。どの設定と接続をどの状態へ戻すか、誰が実行し、誰が結果を確認するかを文書に記します。管理経路まで失われる可能性に備え、別のアクセス手段も必要です。
最終の表には、成功、失敗、未実行、条件付きの確認を分けて残します。装置1台の故障を試験していないのに、リンク1本の試験だけでその欄を成功にはしません。失敗した項目は設計変更と再試験につなげ、実行できなかった項目は残るリスクとともに担当者へ引き継ぎます。
未検証の項目は、理由と次に確認するための条件を一緒に記します。装置がなくて試験できなかった場合と、リスクが承認されず実行しなかった場合では、後続の対応が異なります。単なる空欄ではなく、必要な環境と担当者を残してこそ、次の運用担当者にも追加で何を試験すべきかが伝わります。
検証結果は、実際の障害対応における比較基準になります。運用担当者が、正常時の経路、許可された迂回、残る容量、元に戻す条件をすぐに見つけられる必要があります。障害の判断と復旧では、この記録から影響範囲と復旧の順序を決めます。復旧したネットワークで許可されていない通信まで再び開いてしまうことを防ぐには、セキュリティーポリシーを含む試験結果も一緒に引き継ぐ必要があります。
この記事の用語集 ↑
この記事での意味と英語の参考表記は、用語集全体で確認できます。
- 障害ドメインfailure domain
- 1つの構成要素の故障や変更の失敗によって、同時に影響を受けるシステムとユーザーの範囲です。
- サーバーserver
- クライアントに機能やリソースを提供する、システムまたはソフトウェアの構成要素です。
- 名前解決name resolution
- 名前に対応するアドレスや、そのほかのリソース情報を取得する過程です。
- ICMPICMP
- IP ノードがエラーを通知し、診断メッセージを交換するための制御プロトコルです。
- ネットワークアクセスnetwork access
- ユーザーや端末がネットワークに最初に接続する、有線または無線の境界の役割です。
- エンドポイントendpoint
- 途中で転送するノードではなく、通信の一方の端で送受信する装置またはソフトウェアの終端です。
- ゲートウェイgateway
- あるネットワークまたはプロトコルの文脈から、別の文脈へ出ていく経路を提供するシステムです。
- パケットpacket
- 送信元から宛先へ転送する、ネットワーク層のプロトコルデータ単位です。
- ベースラインoperational baseline
- 特定の環境と時点における正常な経路・設定・負荷・サービスの動作結果を、比較可能な条件で記録した基準です。過去の記録が、その後の変更を経た現在の環境でも有効かを確認する必要があります。
- ルーティングrouting
- 宛先プレフィックスへの経路を選び、転送情報を設定または利用する処理です。
- スイッチswitch
- 学習した情報または設定された情報に基づいて、リンク層のドメイン内でフレームを転送する装置または機能です。
- ポートport
- IP アドレスおよびトランスポートプロトコルと組み合わせて、アプリケーションの通信端点を区別するトランスポート層の識別子です。
執筆範囲と参考文献
技術的な原理は、以下の公式文書を参考にしています。別途例示と明記した装置配置やアドレス、負荷・時間の値は、説明のための例です。実際の現場での測定結果や、製品の保証性能とは区別してください。
- Cisco Validated — 検証済みの設計・導入・運用資料の案内と、適用範囲の確認に用いています。本文の例を Cisco が試験したという意味ではありません。
- Campus Network for High Availability Design Guide — キャンパスネットワークの障害時の経路、復旧、設計検証の参考です。本文の時間と負荷は、原理を説明するために仮定した値です。
- Troubleshooting Overview — 症状と事実の収集、仮説の検証、変更と結果の記録というトラブルシューティングの手順を参考にしています。事例の障害原因は、この記事で独自に仮定したものです。
- Campus LAN and Wireless LAN Solution Design Guide — キャンパスネットワークの階層の役割と設計形態の基本的な根拠です。階層を分ける原理を参考にしました。現在の製品の性能とサポートされる組み合わせは、該当製品の文書で確認する必要があります。
実際のネットワークに適用するときは、使用する装置・ソフトウェアのサポート条件を確認し、現場で必要な動作を試験してください。