ネットワークインフラを理解する · 第5部 · 社内ネットワークを支社・クラウド・インターネットにつなぐ
2つの ISP が同じ宛先を知らせたとき、BGP はどの経路を選ぶのか
TCP セッションから UPDATE・ポリシー・パス属性を経て、プレフィックスがインストール・広告されるまで
2つの ISP が同じプレフィックスを知らせても、BGP は単に近そうな経路を選ぶわけではありません。ピアから受信したルートにポリシーを適用し、LOCAL_PREF、AS_PATH、NEXT_HOP などの属性を比較した上で、使用する経路を RIB と FIB に反映します。この記事では、eBGP・iBGP、ルートリフレクタ、RPKI が担う範囲を分けて考え、ルートが受信・ポリシー・選択・広告のどの段階で止まったのかを調べます。
BGP ピアは TCP 接続後、実際にルートを交換するまでにどの段階を経るのか↑
BGP ピアは TCP ポート 179 でセッションを確立し、OPEN メッセージでバージョンと AS 番号を確認して、ホールドタイムと使用するケイパビリティーを決めます。セッションが確立すると、KEEPALIVE で生存を確認し、UPDATE で経路を広告・撤回します。重大なエラーがあれば、NOTIFICATION で通知してセッションを閉じることがあります。
TCP が接続されたからといって、必要な経路を交換できたとは限りません。ピアが Established でもプレフィックスがないことも、UPDATE を受信したもののポリシーで拒否されたこともあります。セッションの状態とルートの状態は分けて確認します。
TCP の3ウェイハンドシェイクに失敗すると、BGP の OPEN 交換まで進めません。まず、送信元 IP アドレスとルート、TCP/179 の ACL、マルチホップの TTL 設定、認証の不一致など、トランスポートの前提条件を確認する必要があります。TCP の確立後でも、OPEN で受信した AS 番号が期待値と異なる場合や、セッションに必要なケイパビリティーを相手がサポートしていない場合には、NOTIFICATION の後にセッションが終了することがあります。ただし RFC 5492 では、認識できない、またはサポートしていないケイパビリティーを受信したという理由だけで、セッションを切断してはならないと定めています。Idle、Connect、Active、OpenSent、OpenConfirm、Established といった状態のうち、どの段階を繰り返しているかが診断の手がかりになります。
Established は、制御チャネルが生きていることを示します。ピアが NLRI を一つも送らない場合や、こちらの受信ポリシーがすべて拒否する場合でも、セッションは Established になり得ます。また、ルートリフレッシュやグレースフルリスタートのケイパビリティーの有無によって、ポリシー変更・再起動時の経路の保持方法も変わります。セッションの稼働時間、プレフィックスの Received・Accepted 件数、最後の NOTIFICATION を併せて確認すると、「BGP がつながった」という状態を、実際のルート交換の状況として把握できます。
ピアとのセッションが確立しないときは、送信元インターフェイスと Update Source、eBGP マルチホップ/TTL、ACL・ファイアウォール、AS 番号と認証を両端で確認します。TCP が Established になっただけでは、BGP のケイパビリティーの合意に成功したとはいえません。状態変化のログと SYN/SYN-ACK、OPEN・NOTIFICATION を同じ時刻軸で照合し、トランスポートの失敗と BGP パラメーターの拒否を区別します。
この節の出典 IETF RFC 4271
BGP UPDATEはプレフィックスとともに、経路を評価するための属性を運ぶ↑
UPDATE には、到達可能なプレフィックスとパス属性が含まれます。AS_PATH は広告が経由してきた AS の並びを示し、自分の AS が既に含まれていれば、ループと判断する基本的な根拠になります。NEXT_HOP は、その経路でパケットを送る次の地点を示します。
BGP は、リンクの帯域幅や物理的な遅延を直接測定して、最短経路を選ぶわけではありません。AS_PATH の短い経路を優先する段階は一般的ですが、それより前のローカルポリシーが結果を変えることがあります。厳密な決定プロセスには、実装ごとの拡張も含まれます。
一つの UPDATE は、到達可能な宛先を示す NLRI と、それらの経路に共通するパス属性を運びます。また、撤回するルートによって、使用できなくなったプレフィックスを知らせることができます。MP-BGP では、アドレスファミリーごとの到達可能性を別の属性で表します。同じ TCP セッションが接続された状態でも、IPv4 ユニキャストと IPv6 ユニキャストのアドレスファミリーで有効化の状態やポリシーが異なれば、片方のプレフィックスしか見えないことがあります。
AS_PATH はループ防止と経路選択に使われます。NEXT_HOP は実際に転送する前にルーティングテーブルで解決する必要があるアドレスであり、データプレーンはその結果として得られた転送情報を使います。ORIGIN、MED、LOCAL_PREF、コミュニティも、それぞれ範囲と意味が異なります。コミュニティは、ポリシーで使う目印です。運用者が定めたコミュニティは、受信側が対応するポリシーを適用して初めて、意図した効果を持ちます。ただし、RFC 1997 の NO_EXPORT のように、広告の制限が標準で定められた値もあります。実際の扱いは相手の運用者に確認する必要があります。プレフィックスとすべての属性を一つのルートオブジェクトとして読むことで、その経路広告の意図を把握できます。
すべての属性が、どのセッションでも同じように伝わるわけではありません。LOCAL_PREF は一般に AS 内部のポリシーで使われ、eBGP で外部には広告されません。NEXT_HOP の処理とコミュニティの伝播もポリシーに左右されます。ルートを比較するときは、プレフィックスだけでなく、受信した属性全体、インポート時に適用された変更、最終的な Best 表示を保存します。
この節の出典 IETF RFC 4271
図で確認すること TCP ポート179の接続、BGP の FSM、OPEN でのケイパビリティーのネゴシエーションから、経路情報が Adj-RIB-In・インポートポリシー・Loc-RIB・RIB/FIB・エクスポートポリシー・Adj-RIB-Out を経るまでの流れを確認します。上段の Idle から Established までの状態と、下段のポリシー・経路処理の枠を分けて読みます。
↔ 図は左右にスクロールできます。
自分たちの AS で優先したい出口は、距離より先にローカルポリシーで表す↑
一つの AS 内で LOCAL_PREF を高くして特定の出口を優先したり、受信ポリシーでコミュニティやプレフィックスを分類したりできます。一方、外部の AS から入ってくる経路に影響を与えるために、AS_PATH プリペンディング、MED、より具体的なプレフィックス広告などを使えます。ただし、相手の AS がその情報をどう扱うかは、相手のポリシー次第です。
「LOCAL_PREF の次は必ず AS_PATH」と順序を決めつけず、機器のベストパス選択に関する文書と実際のルートの属性を確認する必要があります。Weight のようなベンダー固有の属性が先に評価される場合も、マルチパスの条件が別に適用される場合もあります。各属性が内部の出口を選ぶものなのか、隣接する相手に与える手がかりなのかを区別することが重要です。
ISP-A から受信したルートに高い LOCAL_PREF を設定すると、自分たちの AS 内のルーターが、一般に ISP-A を出口として優先するようにできます。この値は iBGP で内部に伝わりますが、eBGP の隣接ピアへそのまま送る属性ではありません。一方、AS_PATH プリペンドや MED は、外部から自分たちのネットワークに入るインバウンドの経路選択に影響を与える手段です。ただし、相手側が自身の LOCAL_PREF を優先すれば、効果がない場合もあります。このため、アウトバウンドとインバウンドのトラフィックでは、調整時に制御できる範囲が異なります。
ポリシーは、プレフィックスリスト、AS_PATH、コミュニティ、RPKI の状態と照合し、属性を変更したりルートを拒否したりします。広すぎる一致条件一つでデフォルトルートや顧客のプレフィックスまで変えてしまうおそれがあるため、適用前に候補ルート数と変更結果を確かめる必要があります。ベストパスの選択順序はベンダーの機能や設定によって拡張されるので、暗記した順序よりも機器が示す選択理由を確認します。ポリシーの目的、一致条件の範囲、どの候補を選ぶ想定なのかを、プレフィックスの例を添えて文書化しておく方が安全です。
ポリシーは、プレフィックスリスト、AS_PATH・コミュニティの条件、ルートマップやポリシーステートメントで、値を許可・拒否・変更します。結果を説明するときは、「BGP が短い経路を選んだ」で済ませず、各候補がどのポリシーを経て、どの属性の違いで選択から外れたのかを記録します。等コストマルチパスの使用可否と最大経路数も、設定によって異なります。
この節の出典 IETF RFC 4271 · IETF RFC 7454
図で確認すること 左は LOCAL_PREF で自分たちのネットワークの出口を選ぶ例、右は AS_PATH を長くして広告し、相手のネットワークの選択に影響を与える例です。MED も外部へ伝える経路選択情報ですが、この図の設定例は AS_PATH プリペンディングです。どちらも、実際の選択結果を判断するには、適用範囲と相手側のポリシーまで確認する必要があります。
↔ 図は左右にスクロールできます。
外部から受信した BGP ルートを内部のルーターに届ける仕組みがある↑
異なる AS 間の eBGP は外部への到達可能性を交換し、同じ AS 内の iBGP は、選択に必要な BGP 経路を内部のルーターへ伝えます。iBGP で学習した経路を別の iBGP ピアへそのまま再広告しないという基本ルールがあるため、大規模ネットワークではフルメッシュの代わりにルートリフレクタを使うことがあります。
ルートリフレクタはセッション数を減らしますが、経路の見え方と選択の仕組みを変えます。すべてのクライアントが、すべての代替経路を直接見られるわけではありません。IGP コストと NEXT_HOP の到達可能性も含めて、実際の出口が意図どおり選ばれるかを検証する必要があります。
エッジルーターが ISP から受信した NEXT_HOP を iBGP で内部へ伝える場合、実際にパケットを送り出すには、そのアドレスへ IGP・静的経路・直接接続経路などで到達できる必要があります。環境によっては、ネクストホップセルフを使い、内部のルーターがエッジルーター自体をネクストホップとして参照するようにできます。BGP ルートが Best なのに FIB にインストールされない場合や、トラフィックが意図しない出口へ向かう場合は、NEXT_HOP の到達可能性と IGP コストを併せて確認する必要があります。
ルートリフレクタは、クライアントから受信したルートを別のクライアントへ伝え、フルメッシュを組む必要を減らします。ただし、各クライアントが外部のすべての代替経路を直接比較するのではなく、リフレクタが選んで提示した経路に依存することがあり、パスハイディングが起こり得ます。クラスター設計、Add-Path などの拡張、IGP トポロジーを考慮する必要があります。セッション数の削減と最適経路の可視性とのトレードオフを、実際の障害シナリオとトラフィックの経路で検証します。
iBGP でプレフィックスを受信しても、実際の転送に使うには、ルーティングテーブルで NEXT_HOP までの経路を見つけられる必要があります。この条件は、IGP だけでなく静的経路・直接接続経路でも満たせます。エッジルーターが next-hop-self で自分自身をネクストホップに変えるか、外部リンクのアドレスを IGP に広告する設計が必要になる場合があります。BGP テーブル、RIB、ネクストホップへのルート、FIB を併せて確認し、コントロールプレーンでの情報伝達とデータプレーンでの出口を結び付けます。
この節の出典 IETF RFC 4271 · IETF RFC 4456
RPKI は、そのプレフィックスをオリジン AS が広告してよいかをどう確認するのか↑
RPKI の経路オリジン認可(ROA)は、どの AS が、どのプレフィックスをどの長さまでオリジンとして広告できるかを、署名付きで示します。ルーターは、受信した BGP ルートを Valid、Invalid、NotFound などの検証状態に分類し、ローカルポリシーで利用できます。
この検証は、AS_PATH 全体が正しいと証明するものではありません。オリジン AS とプレフィックスの関係を確認する段階です。また、Invalid をどう扱うかは運用ポリシーであり、検証情報の可用性や例外処理まで設計する必要があります。RPKI は、プレフィックスフィルタ、最大プレフィックス数の制限、ピアごとのインポート・送信ポリシーの代わりにはなりません。
受信ルートのプレフィックスを包含する、検証済みの ROA 情報のうち、オリジン AS とプレフィックス長の両方の条件を満たす項目が一つでもあれば Valid です。プレフィックスを包含する ROA 情報はあるものの、AS と長さの両条件を満たす項目がなければ Invalid、プレフィックスを包含する ROA 情報自体がなければ NotFound です。より具体的なプレフィックスが ROA の最大プレフィックス長を超え、それを許可する別の項目もなければ Invalid になります。そのため、ROA を作成するときは、実際に広告する長さを確認する必要があります。この状態は、検証済みの情報と受信経路を照合した結果であり、ルーターが経路ポリシーを適用するときの入力値です。
ルーターが検証キャッシュと通信できなくなった場合に、以前の結果をどれだけ保持するか、古い情報をどう扱うか、Fail-Open・Fail-Closed のどちらで動くかは、実装と運用ポリシーによって異なります。Invalid のルートを自動で拒否する前に、顧客や自社のプレフィックスに関する ROA の誤りに対処する手順が必要です。オリジン検証では、ルートリークや AS_PATH 全体の誤り、あらゆるハイジャックを防げるわけではありません。プレフィックスフィルタ、最大プレフィックス数の制限、ピアとの契約の確認も続ける必要があります。
この検証は、AS_PATH 全体が実際の通過経路であることを保証せず、プレフィックスの所有権やサービスの安全性を完全に判定するものでもありません。運用者は、各検証状態を受信ポリシーでどう扱うかを決め、バリデーターの障害や古いキャッシュが経路選択に及ぼす影響も設計に織り込みます。ルートが見つからないときは、ROA の原データ、検証時刻、広告したプレフィックス長、実際に適用されたポリシーアクションを併せて確認します。
この節の出典 IETF RFC 6811
ルートが見つからないときは、受信から広告までのどの段階で止まったかを調べる↑
状況:ISP-A からプレフィックスを受信したように見えるのに、トラフィックは引き続き ISP-B から出ていきます。
- ピアの TCP・BGP の状態、相手の AS、ケイパビリティー、最後のリセット理由を確認します。
- そのプレフィックスを実際に受信したかと、受信ポリシーを通過したかを区別します。
- 各候補の NEXT_HOP、LOCAL_PREF、AS_PATH、MED、コミュニティ、RPKI の状態を並べて比較します。
- ベストパスに選ばれた経路が RIB と FIB にインストールされているか、より具体的なプレフィックスが別にないかを確認します。
- ルーティングテーブルで NEXT_HOP までの経路と、実際の出力インターフェイスを調べます。
- こちらのルーターが各ピアに何を広告したかを、送信ポリシーの結果まで含めて検証します。
一つのプレフィックスのライフサイクルを4段階に分けます。まず、ピアから UPDATE を実際に受信したかを確認します。次に、受信ポリシーを通過したか、候補の中からベストパスに選ばれて RIB・FIB にインストールされたか、最後に送信ポリシーを経て他のピアに広告されたかを確認します。各段階のルート数だけでなく、問題のプレフィックスの属性と拒否理由を確認します。ソフトリコンフィギュレーションなしでルートリフレッシュやポリシー追跡機能を使えるかは、プラットフォームの文書で確認します。
トラフィックの検証では、ベストパスの NEXT_HOP を再帰的に解決し、実際の出口のカウンターと外部のトレースを確認します。戻りのトラフィックは相手の AS のポリシーで決まるため、こちらが広告したルート、Looking Glass、通信フローのテレメトリーを別途確認します。ポリシー変更前後のルートのスナップショットと、影響が見込まれるプレフィックス数を保存し、最大プレフィックス数の制限などの安全策を確認します。セッションのリセットが必要なら、他のプレフィックスが中断する範囲と切り戻し計画を先に決めます。
ルートを受信した段階(Received)、ポリシーを通過した段階(Accepted)、選択・インストールされた段階(Best・Installed)、他のピアに広告した段階(Advertised)は、それぞれ異なります。機器が保存していないポリシー適用前のルートを確認するには、ルートリフレッシュや別の観測が必要になる場合があります。運用への影響とプラットフォームの動作を検討した上で実行します。
この節の出典 IETF RFC 8212 · IETF RFC 7454
用語集↑
この記事で使用した主要な用語の一覧です。各用語の説明は全体の用語集で確認できます。
- BGP Border Gateway Protocol
- 自律システム間と BGP ドメイン内で、到達可能性とパス属性を交換する、パスベクトル方式の Border Gateway Protocol です。
- BGP ピアリング
- 二つの BGP スピーカーが TCP セッションと BGP の接続状態を確立し、経路情報を交換する関係です。
- UPDATE
- 到達可能なプレフィックスとパス属性を広告したり、以前のルートを撤回したりする BGP メッセージです。
- AS_PATH
- BGP ルートが通過した AS の並びなどを記録し、ループ検出やポリシーに用いるパス属性です。
- LOCAL_PREF
- 一つの AS 内で、どの BGP の出口を優先するかを示すパス属性です。
- MED Multi-Exit Discriminator
- 複数の入口のうちどれを優先するかを隣接 AS に知らせるための、オプションの非通過型 BGP パス属性です。
- ルートリフレクタ
- iBGP のフルメッシュ構成の必要性を減らすために、クライアント間で BGP ルートをリフレクトする役割のルーターです。
- リソースPKI Resource Public Key Infrastructure
- インターネット番号資源と経路のオリジンに関する表明を検証する公開鍵基盤です。
出典と検証
- IETF RFC 4271 — BGP-4 メッセージ、パス属性、決定プロセス
- IETF RFC 4456 — BGP のルートリフレクション
- IETF RFC 8212 — eBGP のインポート・エクスポートに関するネットワークポリシーがない場合の既定の拒否動作
- IETF RFC 6811 — BGP プレフィックスのオリジン検証
- IETF RFC 7454 — BGP の運用とセキュリティーに関する推奨事項
- IETF RFC 5492 — BGP のケイパビリティー広告とエラー処理
- IETF RFC 1997 — コミュニティと NO_EXPORT の意味
- IETF RFC 8642 — コミュニティ処理の実装差と運用時の確認
ベストパス選択の詳しい順序、ベンダー固有の属性、マルチパスの条件、RPKI の状態を扱うポリシーは、実装ごとに異なります。本文では、RFC で定める動作とローカルポリシーの役割を区別しています。