ネットワークインフラを理解する · 第6部 · 接続したネットワークの安全を保ち、障害から復旧する
ネットワーク障害では、何から確認して復旧するべきか
ネットワーク障害が起きたら、原因を推測する前に、どの利用者や業務が影響を受けているかを確認し、被害の拡大を防ぐ必要があります。正常なエンドポイントと障害のあるエンドポイントの通信を比較して問題の区間を絞り、業務再開に必要な機能から復旧します。通常の障害とセキュリティ侵害への対応を区別し、パケットの転送が回復してから業務の復旧、インシデントの終結までに何を確認するかを見ていきます。
目次へ戻る機器のアラームとサービス障害を区別し、対応は遅らせない ↑
機器でアラームが発生したら、まず実際のサービスへの影響を確認します。利用者が必要なサービスを使えるか、品質が合意した範囲を外れていないか、次の故障に耐える余裕が失われていないかを併せて見ます。これらの状態を区別することで、影響と緊急度を正確に伝えられます。
D1 が故障しても D2 経由で業務が続いているなら、現在のサービス停止と冗長性の喪失を区別して報告します。業務ができるからといって、機器の修理を先送りしてよいわけではありません。残る一つの経路での追加故障や過負荷に耐える余裕が減っているため、リスクに応じた復旧期限を定め、残った経路をより注意深く監視する必要があります。
反対に、すべての機器の電源が入っていても、リクエストが繰り返し失敗したり、遅延が許容基準を超えたりすれば、サービス障害になり得ます。リンクが接続されていても、利用者の業務は失敗することがあります。どの利用者の、どのリクエストで問題が起きたのか、まず実際の結果を集める必要があります。
受付時には、発生時刻と現在時刻、影響を受ける利用者・場所・サービス、再現条件、直近の変更、正常と見られる比較対象を記録します。原因が分かっていなければ、未確認と記します。推定原因を確定した原因として伝えると、次の調査担当者もその原因だけを探し、ほかの手掛かりを見落としかねません。
冗長性が失われた状態では、次の故障に対する保護の程度を別に伝えます。「現在は業務ができる」という報告だけでは、緊急保守の必要性が低く見えることがあります。残る経路と余裕、復旧見込み時刻、追加故障時の影響を併せて共有し、業務担当者がリスクを判断できるようにします。
障害の重大度を判定している間も、緊急の被害防止は進めなければなりません。影響が広がっている場合や、安全・データ損失のリスクが大きい場合は、承認済みの緊急対応手順を先に適用し、記録も続けます。同時に、技術対応と状況共有の担当を定め、複数の担当者が互いに知らない変更を同じ機器に加えることを防ぎます。
正常なエンドポイントと障害のあるエンドポイントを比較して問題の区間を絞る ↑
障害ドメインを絞るには、どの通信が失敗し、どの通信は継続しているかを併せて記録する必要があります。「オフィス全体が使えない」という申告は出発点にすぎません。有線と無線、同じ VLAN と別の VLAN、内部サービスと外部サービスのように、条件を分けて比較します。
PC-A だけが通信できず、同じポート条件にある別のエンドポイントが正常なら、まず障害のあるエンドポイントと接続設定を調べる理由になります。同じネットワークアクセス配下の複数のエンドポイントが同時に失敗するなら、共有するリンクやポリシーを疑えます。ただし、この比較は調査範囲を絞る根拠であり、特定の機器の故障を直ちに確定する証拠ではありません。
アドレスで接続する試験と名前で接続する試験でも、条件をそろえる必要があります。HTTPS では、アドレスだけを変えても、サーバー名や証明書、仮想ホストの条件が変わることがあります。比較したかった名前解決以外にリクエストの条件まで変わっていれば、その二つの結果だけで DNS の問題だとは判断できません。
観察は、影響の小さい方法から始めます。既存の監視情報とログ、インターフェイスの状態、経路やポリシーの照会結果を先に比較します。再起動や広範囲の初期化は、証拠と正常な状態を一緒に失わせることがあるため、原因を確認せず最初の対応として繰り返しません。
ログやキャプチャには、収集した時刻と場所を記録します。A1 で見えたというパケットは同じ時刻の D1 でも見えたのか、どの方向のどのリクエストなのかを具体的にします。ベースラインと比較できる資料を集めてから、考えられる原因を一つ選び、その仮説の当否を見分けられる試験を先に行うことで、不要な設定変更を減らせます。
同じ宛先までの PC-A の失敗と PC-B の正常な結果を並べてみます。両経路が別々に通る接続区間と、共通して通る区間を分けると、何から比較するかを決められます。原因の判断には、図で絞り込んだ区間の機器の状態と測定結果を併せて確認する必要があります。
↔ 図は左右にスクロールできます。
侵害が進行中なら、可用性よりも拡大の阻止を優先する ↑
悪意ある行為や侵害の拡大が進行中なら、サービスの継続よりも追加被害の防止を優先します。感染・侵害を確認したシステムや区間には直ちに封じ込めを行います。侵害範囲を確実に把握できない場合や、複数の区間へ広がっている場合は、影響を受けたネットワーク全体をほかのネットワークから切り離すなど、封じ込めの範囲を広げる必要があります。インターネット接続だけを切って内部の移動経路を残すと、不十分な場合があります。生命・安全に直結する設備は、事前に定めた安全手順と代替運用へ切り替えます。ただし、サービスが重要という理由で侵害経路を開いたままにしてはいけません。
封じ込めと電源断は同じ措置ではありません。インシデント対応の指揮系統に従ってネットワーク接続を遮断し、ログやメモリなど必要な証拠を安全に確保します。ただし、証拠収集のために緊急の封じ込めを遅らせてはいけません。侵害された通信手段の代わりに、信頼できる別の連絡経路を使います。再接続の前には、侵害の原因と侵入経路を解消し、残る脅威を除去する必要があります。復元したシステムを検証し、必要なアカウント・認証情報への措置を終えてから、監視を強化した状態で段階的に再接続します。接続が戻っただけでセキュリティインシデントが終わったとは判断しません。
復旧の順序は、重要度とサービスの依存関係を併せて考える ↑
復旧の順序は、不便を被っている利用者の数だけでは決めません。まず追加被害と安全上のリスクを防ぎ、管理者が機器へ安全にアクセスして作業できる手段を確保します。そのうえで、業務の重要度と、各サービスが先に必要とする機能を併せて調べます。
例えば、業務アプリケーションが認証と名前解決に依存しているなら、認証と名前解決が正常に動作するかを先に確認します。必要な認証と名前解決が動かなければ、アプリケーションだけを繰り返し再起動しても結果は変わりません。反対に、名前解決は正常で経路上のポリシーが通信を妨げている場合、先に DNS を変更しても解決にはなりません。
DHCP も、すべての障害で最初に復旧する対象とは限りません。有効なアドレスを持つエンドポイントの現在の通信と、新規接続・リース更新では、影響が出る時点が異なることがあります。停止中の業務に DHCP のどの機能が必要なのかを確認し、今後影響を受ける範囲と時期も併せて記録する必要があります。
同じ重要度のサービスなら、少ない変更でより広い範囲の必須業務を回復できる措置を優先的に検討できます。ただし、一時的な迂回でセキュリティ境界が失われたり、残る経路が過負荷になったりすれば、別の被害が生じます。期待する効果だけでなく、新たなリスク、中止条件、戻す方法を一つの計画として承認してもらう必要があります。
復旧の優先順位と根本原因の調査順序は、常に同じとは限りません。信頼できる以前の設定で最小限の復旧が可能なら、サービスを回復させながら、証拠に基づく原因分析を続けられます。何が復旧し、何がまだ分かっていないかを分けて伝えることで、仮復旧を最終的な解決と誤解することを防げます。
追加被害を防ぎ、管理アクセスを確保したら、停止中の業務に必要な機能をたどって復旧の順序を決めます。その段階で実際に DNS や DHCP が必要なのかも、この過程で確認します。
↔ 図は左右にスクロールできます。
通信できない PC-A と正常な PC-B から同じリクエストを送る ↑
仮想事例では、PC-A は 10.60.10.21/24、PC-B は 10.60.40.21/24 で、宛先は App-S 10.60.20.10 の TCP 443 サービスです。二つのエンドポイントは異なる業務用 VLAN にあり、同じアプリケーションのリクエストを使います。同じリクエストを送ると PC-A では失敗し、PC-B では成功するという点から記録します。
PC-B の成功は、サーバー全体が停止している状況とは合わない手掛かりです。ただし、サーバーが PC-A のアドレスだけを拒否したり、途中のポリシーが異なって適用されたりする場合もあるため、サーバーがあらゆる条件で正常だという結論にはなりません。同じ時刻に同じリクエストを送る条件を保ち、両方の経路を比較します。
PC-A からゲートウェイへの到達性と宛先への経路を確認し、許可された観測点でリクエストのパケットを追います。この事例では、A1 を出たリクエストが D1 の入力側では観察されますが、サーバー方向の出力側では観察されません。そこで、D1 の入力と出力の間の経路やポリシーを詳しく調べられます。ただし、キャプチャでパケットを取り逃した可能性も併せて確認する必要があります。
D1 の直近の変更とポリシーの順序を比較したところ、VLAN10 の該当リクエストに誤って適用された ACL の拒否ルールが見つかったとします。同じリクエストを再現すると該当ルールのカウンターが増えることと、正常時の基準設定との差を併せて確認します。一つのカウンターだけで結論を出さず、経路・パケットキャプチャ・ポリシーの記録が同じ問題を示しているかを照合します。
遮断されるべきゲスト通信の試験は、承認済みの試験用エンドポイントと宛先に限定します。関係のないアドレスやサービスを広範囲に探索してポリシーを確認することはしません。本来許可または遮断することになっている通信を、承認された範囲で試験します。障害を理由に点検対象や権限を勝手に広げてはいけません。
措置は ACL 全体の削除ではなく、誤ったルールと順序を承認済みの元のポリシーに戻す範囲に限ります。復元後は、PC-A のリクエストと応答、PC-B の従来の正常な通信、引き続き遮断すべきゲスト通信を併せて確認します。許可すべき通信だけが戻ったかまで確認して、業務の復旧と既存の遮断ポリシーの維持を両立できたかを判断します。
PC-A と PC-B の同じリクエストを D1 の入力側と出力側で比較します。PC-A のリクエストがどこで遮断されるかを突き止め、誤った ACL だけを復元して、従来の許可通信・遮断通信を再試験します。
↔ 図は左右にスクロールできます。
一つの仮説に最小限の変更を一つ適用し、結果を残す ↑
対応の前には、観察した事実、現在の仮説、変更の影響範囲、期待する結果を短くても記録します。ログやキャプチャのどの手掛かりを基にその設定を変えるのかを記すのです。複数の設定を一度に変えると、通信が戻っても、何が原因でどの変更が不要だったのかを区別しにくくなります。
既存の設定と必要な状態情報を確保し、変更権限と戻す担当者を確認します。緊急時も、いつ何を変えたかの記録は続ける必要があります。他の担当者の同時変更を統制しなければ、正常と失敗を比較する条件が、対応中に再び変わることがあります。
この事例では、確認できた ACL の差分一つを正常時の基準に戻し、同じリクエストで結果を比較します。期待した位置でリクエストが通り、応答が戻るかを確認し、エラーと負荷も観察します。期待した結果が出なければ、ほかの設定をさらに変える前に、推定した原因が正しいかと、以前の状態へ戻す条件を再確認します。
一時的な迂回を選んだなら、残る容量、セキュリティ上の制約、適用期限を記録します。迂回経路が平常時の全需要を継続して処理できるかは、別に判断する必要があります。暫定状態を忘れて通常構成として運用しないよう、元に戻すか正式変更にする担当者と終了条件を定めます。
セキュリティ侵害からの復旧では、以前の設定というだけで安全とは見なしません。復旧に使う基準とバックアップが、いずれも侵害前の信頼できるものかを確認し、必要な原因除去とアカウント・認証情報への措置を行う必要があります。単純な通信障害の設定ロールバックと、侵害されたシステムの再接続を、同じ承認基準で扱うことはできません。
パケットの転送回復・業務復旧・インシデント終結を区別する ↑
復旧確認は、一度の ping 応答で終わりません。パケットが往復する状態、利用者が業務を完了できる状態、原因と再発防止まで対処した状態を区別する必要があります。各段階の担当者と確認根拠を別々に残すと、現在何が回復したかを正確に伝えられます。
ネットワークの復旧では、想定した双方向の経路とポリシー、エラー、残る負荷を確認します。業務の復旧では、影響を受けた利用者と場所で実際のリクエストを確認します。試験用エンドポイントで通信できても、別の VLAN や無線区間、新規接続は個別に確認します。
既存セッションと新規セッション、必要な名前解決と認証も、サービスの条件に合わせて確認します。復旧直後は正常でも、負荷が積み重なった時やリース更新、経路の復帰時に再び問題が出る場合があります。観察する期間と再確認の時点は、その障害の影響とサービスの特性に応じて決めます。
インシデントの終結時には、時系列の状況と措置、影響範囲、直接原因と被害を拡大させた条件、残るリスクを記録します。原因がまだ分からなければ、継続調査の担当者と確認事項を残します。担当者のミスを指摘するだけでなく、同じ問題を繰り返さないために変更する設定・手順と、再試験する内容を定める必要があります。
業務担当者の確認と技術担当者の観察が異なるなら、その差を調べます。試験リクエストが成功しても、特定の利用者の権限や保存機能は失敗することがあります。確認した機能と確認できていない機能を分けて残すことで、一部の成功を全面復旧として伝えることを防げます。
今回確認した経路、ポリシー、障害ドメインは、設計文書と正常時の基準記録に反映します。抜けていた試験も検証項目に加えます。ネットワークセキュリティの配置で見たアクセス制御や検知機能が実際に役割を果たしたかを振り返り、次のインシデントに備えて封じ込めの実施箇所と復旧手順を補います。続く締めくくりの記事では、一度のウェブ接続をもう一度たどり、通信の原理と設計・運用をまとめます。
パケットの転送が再開した状態、利用者が業務を行える状態、原因と再発防止まで対処した状態を区別しました。各段階で確認したことと、まだ残る作業を並べて見ます。
↔ 図は左右にスクロールできます。
この記事の用語集 ↑
この記事での意味と英語の参考表記は、用語集全体で併せて確認できます。
- 変更の影響範囲change domain
- 1回の設定変更、ソフトウェア変更、保守作業に伴う変更が影響を及ぼし得る機器とサービスの範囲です。物理的な障害の影響範囲と重なることはありますが、常に一致するとは限りません。
- 障害ドメインfailure domain
- 1つの構成要素の故障や変更の失敗によって、同時に影響を受けるシステムとユーザーの範囲です。
- パソコンPC
- 例の中で通信端末として使うパーソナルコンピューターです。
- サーバーserver
- クライアントに機能やリソースを提供する、システムまたはソフトウェアの構成要素です。
- DHCPDHCP
- クライアントに IP 設定と時間制限付きのリースを提供する Dynamic Host Configuration Protocol です。
- 名前解決name resolution
- 名前に対応するアドレスや、そのほかのリソース情報を取得する過程です。
- DNSDNS
- ドメイン名を IP アドレスなど、必要なリソースレコードへと名前解決する分散システムです。
- MAC アドレスMAC address
- イーサネットフレームでインターフェイスを識別する、リンク層のアドレスです。
- VLANVLAN
- スイッチングネットワークを、異なるリンク層のブロードキャストドメインに分ける Virtual LAN です。
- ネットワークアクセスnetwork access
- ユーザーや端末がネットワークに最初に接続する、有線または無線の境界の役割です。
- エンドポイントendpoint
- 途中で転送するノードではなく、通信の一方の端で送受信する装置またはソフトウェアの終端です。
- ゲートウェイgateway
- あるネットワークまたはプロトコルの文脈から、別の文脈へ出ていく経路を提供するシステムです。
- IPIP
- ネットワーク間でパケットのアドレスを示し、経路に沿って転送する Internet Protocol の系列です。
- パケットpacket
- 送信元から宛先へ転送する、ネットワーク層のプロトコルデータ単位です。
- ベースラインoperational baseline
- 特定の環境と時点における正常な経路・設定・負荷・サービスの動作結果を、比較可能な条件で記録した基準です。過去の記録が、その後の変更を経た現在の環境でも有効かを確認する必要があります。
- 復旧の優先順位recovery priority
- さらなる被害を防ぎ、安全な復旧手段を確保したうえで、業務上の重要度とサービス間の依存関係を併せて考慮して決める対応の順序です。
- ACLACL
- トラフィックやほかのオブジェクトを条件と照合し、許可、拒否などのポリシー動作を適用する Access Control List です。
- 封じ込めcontainment
- 進行中の侵害の拡大と追加被害を防ぐため、影響を受けたシステムや区間の接続と活動を制御する措置です。ネットワークからの隔離と機器の電源遮断は区別します。
- ポートdevice port
- トランスポート層のポート番号とは区別される、スイッチやルーターなどのネットワーク機器上の物理的または論理的なインターフェイスの位置です。
- TCPTCP
- 通信する両端の間で、順序が保証された信頼性のあるバイトストリームを提供する、コネクション型のトランスポートプロトコルです。
執筆範囲と参考文献
技術原理については、以下の公式文書を参考にしました。例と明示した機器配置やアドレス、負荷・時間の値は、説明のためのものです。実環境の測定結果や製品が保証する性能とは区別してください。
- Troubleshooting Overview — 症状と事実の収集、仮説の検証、変更と結果の記録という問題解決手順。事例の障害原因は独自の仮定です。
- NIST SP 800-61 Rev. 3 — Incident Response Recommendations and Considerations for Cybersecurity Risk Management — インシデントの影響・優先順位・封じ込め・根絶・復旧。セキュリティの節の根拠は RS.MI-01・RS.MI-02 と復旧カテゴリです。
- #StopRansomware Guide — joint CISA/FBI/NSA/MS-ISAC guidance — 影響を受けたシステムの即時隔離、広範な侵害に対するネットワーク単位の遮断、別の連絡手段。
- RFC 1812 — Requirements for IP Version 4 Routers — IPv4 ルーターの宛先経路選択・TTL 処理・ネクストホップへの転送原理。
実際のネットワークへ適用するときは、使用する機器・ソフトウェアの対応条件を確認し、現場で必要な動作を試験してください。