ネットワークインフラを理解する · 第4部 · 学んだ原理で実際のネットワークをどう設計するか
アップリンクにはどれだけの容量が必要で、1本切れても対応できるか
通常は余裕があるように見えるアップリンクでも、1本切れると業務が遅くなることがあります。アクセスポートの速度合計、実際の上りトラフィック、障害後に残る転送容量は、それぞれ異なる値だからです。2本のアップリンクを例に正常時と障害時の容量を計算し、単一フローの上限と短時間の輻輳も区別して見ていきます。
目次へ戻るアクセスポートの速度合計と実際の上りトラフィックは異なる ↑
オーバーサブスクリプション比は、アクセス側の最大接続速度を上り容量と比較する設計上の値です。利用者が実際に送っているトラフィックの量を表す利用率とは区別する必要があります。
A1 に 1 Gbps のアクセスポートが48個あり、10 Gbps のアップリンク2本が同時に有効だとします。アクセスポートの速度合計は 48 Gbps、上りリンクの速度合計は 20 Gbps です。この記事で使うポート速度に基づくオーバーサブスクリプション比は 48÷20=2.4:1 となります。
この計算は、すべてのエンドポイントが同時に最大速度でアップリンクを使うことはできない構成だと示しています。ただし、48個のポートが常に 48 Gbps のトラフィックを発生させるという意味ではありません。同じスイッチ内で完結する通信は、このアップリンクを使わない場合があります。エンドポイントによって、トラフィックの量も発生する時間も異なります。
アップリンクの実際の利用状況は、トラフィックを測定して確認します。説明のために上り需要を 8 Gbps と仮定すると、リンクの速度合計に対する割合は 8÷20=40% です。これはオーバーサブスクリプション比の再計算ではなく、固定した需要を現在有効な容量と比較した値です。ここでの 8 Gbps は実測値ではなく、計算のための仮定です。
上り容量を計算するときは、実際に同時にデータを送れるリンクだけを足します。一方がブロックされている L2 経路では、接続された2本のケーブルの速度をそのまま合計できません。正常時と障害時の比率を同じ基準で比較できるよう、リンク速度の合計を示す表にも、どの経路が有効なのかを記します。
測定値には、どの地点でどちら向きのトラフィックを測ったのかを記します。送信と受信を合計して片方向のリンク速度で割ったり、IP データ量と回線上のオーバーヘッドを混在させたりすると、異なる比率になります。同じ区間・方向・時間の値を比較し、実際の業務の応答とも照らし合わせることで、設計値の意味が明確になります。
同じ需要を、障害後に残るアップリンクの容量と比べ直す ↑
障害後の容量を計算するには、何が故障し、どれだけのトラフィックが残るかを先に決める必要があります。N-1 と記す場合も、機器1台なのか、リンク1本なのかを具体的に示します。
先ほどの構成で、アップリンク1本だけが切れ、48個のアクセスポートはそのまま残るとします。上り容量は 20 Gbps から 10 Gbps に減ります。アクセスポートの速度合計は変わらないため、オーバーサブスクリプション比は 48÷10=4.8:1 に変わります。分子となるアクセスポートの速度合計は、障害前と同じです。
実際の需要を引き続き 8 Gbps と仮定すると、総容量に対する利用率は 8÷10=80% です。正常時の40%だけを見て余裕が十分だと判断していたなら、障害時の条件を見落としていたことになります。ただし、80%はすべてのサービスで許容または禁止される共通の基準ではありません。
スイッチ1台の電源を切る試験では、同じ計算をそのまま使えません。そのスイッチにつながるエンドポイントの接続も失われ、残る需要が変わる可能性があるためです。エンドポイントの接続は維持されてアップリンクだけが減る場合と、エンドポイントとアップリンクが共に減る場合は、表の行を分けます。
障害後にトラフィック自体が減るのか、同じ量が別の経路へ集中するのかも区別します。アクセススイッチが停止して利用者が接続を失う場合と、上りリンクだけが切れて利用者は接続を維持する場合では、残った経路の負荷が異なります。同じ N-1 試験でも残るトラフィックが異なるので、それぞれの需要で計算する必要があります。
切り替え後の需要には、再接続や待機していた処理の再試行が加わる場合もあります。どのサービスが再開し、残った経路へ一時的にどれだけ集中するかを観察します。代替経路で業務を支えられるか判断するには、正常時の平均だけでなく、試験対象の障害が起きた直後と、通信が安定した後の需要も比較する必要があります。
今度は接続中のエンドポイントと 8 Gbps の需要を維持し、アップリンク1本だけを切ってみます。下の2つの構成で変わるのは上り容量です。それによってオーバーサブスクリプション比と総容量に対する利用率がどう変わるかを併記しました。
↔ 図は左右にスクロールできます。
アクセスポートと需要は維持し、アップリンク1本だけを切ってみます。オーバーサブスクリプション比と仮定したトラフィックの利用率が、それぞれどう変わるかを比較します。
↔ 図は左右にスクロールできます。
総容量に余裕があっても単一フローが遅い理由を調べる ↑
2本のリンクの容量を足せることは、1つの通信でその合計速度を使えるという意味ではありません。フローをどのリンクに割り当てるかによっては、1本のリンクが先に限界に達します。
リンクアグリゲーション方式の EtherChannel は、機器が選んだアドレスやポートなどのフィールドに基づいて、フローを構成リンクに振り分けることができます。同じフローを1本のリンクに送って順序を保つ方式では、10 Gbps のリンクが2本あっても、単一フローで両方を自由に組み合わせて使うことはできません。実際のハッシュフィールドと動作は、製品と設定ごとに確認します。
説明のために、6 Gbps のフロー1つと 4 Gbps のフロー1つが同じ構成リンクに割り当てられ、ほかのフローはもう一方のリンクに割り当てられたとします。総転送量が 20 Gbps 未満でも、最初のリンクにはほとんど余裕がなく、オーバーヘッドや追加トラフィックで輻輳する場合があります。この違いはポートごとの結果を見なければ分かりません。
ハッシュは、空いているリンクを見て、パケットごとに最も余裕のあるリンクへ送る機能とは異なります。送信方向と受信方向で使うフィールドも異なる場合があるため、両端の機器の分布を分けて確認します。ハッシュ設定を変えるときは、既存フローの経路や順序への影響も検討する必要があります。
単一フローを速くする必要があれば、リンク自体の高速化や、アプリケーションが複数フローを使えるかを検討します。リンク追加は複数フローの総転送量を増やすのに役立つ場合がありますが、単一フローも速くなるかは別に試験する必要があります。詳しい分散動作は、リンクアグリゲーション(EtherChannel)のフロー分散の記事で説明しています。
平均利用率に隠れる短時間の輻輳を、破棄数と併せて確認する ↑
平均利用率が低くても、短時間に入力が集中すると出力キューが埋まり、パケットが破棄される場合があります。長い観測区間の平均値と、その瞬間のキューの動作は区別する必要があります。
複数のアクセスポートから同じ出力ポートへ、一斉にデータを送るとします。出力速度を超えて入ってきたパケットは、一時的にバッファに蓄積されます。短時間の集中なら分単位の平均では小さく見えても、その瞬間の遅延に敏感な業務には影響する場合があります。
運用担当者は、問題が起きた時間帯の出力破棄数、キュー関連カウンター、リンクごとのトラフィックを併せて確認します。累積カウンターには過去の破棄も含まれるため、観測区間での増加量と、利用者に失敗が起きた時刻を照合します。カウンターのリセットや測定間隔の違いがあれば、その条件も記録します。
パケットの破棄は輻輳だけで起きるものではありません。インターフェイスのエラー、ポリシーによる拒否、プラットフォームの別のリソース制約を同じ「ドロップ」にまとめると、原因が曖昧になります。各カウンターが何をどこで数えるのかを、公式文書で確認します。同じ方向のパケットキャプチャと照合すると、破棄の原因を絞り込めます。
エラーカウンターの増加を、すべて輻輳と解釈してはいけません。物理的なエラーとキューでの破棄では、原因も対策も異なります。同時刻のリンクエラー、キューの状態、サービスの遅延を比較すれば、ケーブルの問題を高速化で解決しようとしたり、輻輳を回線不良と誤認したりすることを減らせます。
QoS を適用しても、総容量の不足が自動的に解消するわけではありません。輻輳時に、どのトラフィックにどのリソースを割り当てるかを決めるものであり、許容した損失や遅延の結果を業務で確認する必要があります。需要の総量が残ったリンクの容量を超え続けるなら、優先順位のポリシーとは別に、容量やトラフィックの配置を変える必要があります。
2つの大きなフローが、同じ構成リンクに割り当てられた場合です。もう一方のリンクに余裕があっても、このリンクで輻輳することがあります。
↔ 図は左右にスクロールできます。
高速化・リンク追加・トラフィック分散から、実際のボトルネックに効く対策を選ぶ ↑
容量を改善するときは、観察したボトルネックに対処する必要があります。同じように遅く見えても、単一フローの上限、複数フローの集中、外部回線の容量不足では、必要な変更が異なります。
1つの大きなフローが1本の構成リンクに割り当てられているなら、アップリンクの本数を増やすだけで十分かを再計算します。複数リンクに均等に分かれた需要が、障害後に残る容量を超え続けるなら、高速化や通信経路の分離のほうが直接的な対策になる場合があります。選んだ理由には、どの指標を改善するのかを記します。
内部のサーバーとエンドポイントの間のトラフィックがボトルネックであれば、インターネット回線を高速化しても、その内部経路は変わらない場合があります。まず PC-A から宛先まで実際に通る区間を示し、どの出力ポートで、入ってくるトラフィックを時間内に送り出せなくなっているかを探します。測定位置を把握してこそ、どの機器や回線を増強すべきか判断できます。
変更する構成を決めたら、正常時と障害時の容量を再計算します。正常時に余裕ができても、障害時に同じ1本のリンクや同じ電源へ依存するなら、元の復旧要件は未解決のままかもしれません。逆に、配置の変更だけで不要な集約を減らせば、機器を増やさずに同じ要件を満たせる可能性もあります。
増強後も同じ観察を繰り返すことで、選択の効果を確かめられます。リンク速度を上げても業務の遅延が変わらなければ、サーバーの処理や別の経路が制約だった可能性があります。変更前後で需要とリクエストの条件をそろえて比較し、最初に見つけたボトルネックが実際に緩和したかを確認します。
最終記録では、仮定した需要、実測値、試験した障害、リンクごとの結果、選んだ対策を分けておきます。数値が変わったときに、どの仮定を再確認すべきか分かるようにするためです。後のビルやキャンパスの設計でも同じ基準でこの計算を使います。階層を追加しても、各リンクの容量は計算し直す必要があります。
この記事の用語集 ↑
この記事の用語の意味と英語の参考表記は、用語集で併せて確認できます。
- N-1N minus one
- 指定したリソースが1つ利用できない条件です。失われるリソースと、残る経路・容量を明示する必要があります。共有部分に起因するあらゆる障害を網羅するという意味ではありません。
- オーバーサブスクリプション比oversubscription ratio
- 同じ区間・方向について、下り側ポートの公称帯域幅の合計を、利用可能な上り側の公称帯域幅の合計で割った比です。実際の需要を容量で割って求める利用率とは区別します。
- サーバーserver
- クライアントに機能やリソースを提供する、システムまたはソフトウェアの構成要素です。
- エンドポイントendpoint
- 途中で転送するノードではなく、通信の一方の端で送受信する装置またはソフトウェアの終端です。
- IPIP
- ネットワーク間でパケットのアドレスを示し、経路に沿って転送する Internet Protocol の系列です。
- パケットpacket
- 送信元から宛先へ転送する、ネットワーク層のプロトコルデータ単位です。
- QoSquality of service
- 輻輳時に、トラフィックの分類・キューイング・スケジューリングなどによって、サービスごとの転送処理を制御する機能です。不足している物理帯域幅そのものを増やす技術ではありません。
- L2Layer 2
- フレームとリンク層のアドレスを扱う、データリンク層の文脈を指します。
- リンクアグリゲーションlink aggregation
- 容量と耐障害性を高めるため、複数の物理イーサネットリンクを1本の論理リンクとして扱う仕組みです。LACP を使う方式だけでなく、静的に構成する方式も含みます。
- スイッチswitch
- 学習した情報または設定された情報に基づいて、リンク層のドメイン内でフレームを転送する装置または機能です。
- ポートport
- IP アドレスおよびトランスポートプロトコルと組み合わせて、アプリケーションの通信端点を区別するトランスポート層の識別子です。
- ポートdevice port
- トランスポート層のポート番号とは区別される、スイッチやルーターなどのネットワーク機器上の物理的または論理的なインターフェイスの位置です。
執筆範囲と参考資料
技術原理は、以下の公式文書を参考にしました。例として示した機器配置やアドレス、負荷、時間の値は説明用です。現場での実測結果や、製品が保証する性能とは区別してください。
- Campus LAN and Wireless LAN Solution Design Guide — キャンパスの階層の役割と設計形態の基本資料です。階層を分ける原理を参考にしました。現在の製品の性能とサポートされる組み合わせは、各製品の文書で確認する必要があります。
- Catalyst 9300 IOS XE 26.x — Configuring EtherChannels — EtherChannel のフロー分散とハッシュの原理。特定のハッシュの初期設定や動作を、すべてのモデルに一般化するものではありません。
- Campus Network for High Availability Design Guide — キャンパスの障害時の経路、復旧、設計検証の参考資料です。本文の時間と負荷は、原理を説明するための仮定値です。
- Troubleshooting Overview — 症状と事実の収集、仮説の検証、変更と結果の記録からなる問題解決の手順です。例の障害原因は独自に仮定したものです。
実際のネットワークに適用するときは、使用する機器とソフトウェアのサポート条件を確認し、現場に必要な動作を試験してください。