ネットワークインフラを理解する · 第2部 · 近くの機器までデータはどう届くのか
4本のリンクを1つに束ねると、個々の通信も4倍速くなるのか
LACP がメンバーを1つの論理リンクに束ね、通信フローはハッシュ計算の結果に基づいて割り当てられる仕組み
複数の物理リンクを1つのポートチャネルに束ねると、複数の通信のトラフィック全体を分散して送れます。ただし、1つの通信がリンク数に比例して速くなるわけではありません。LACP は両端のポートの条件を確認し、スイッチはハッシュ計算の結果に応じて各通信フローを1本のメンバーリンクに割り当てます。この記事では、ネゴシエーション、負荷分散、メンバーリンクの障害、カウンターを順に確認し、リンクが残っていてもボトルネックが生じる理由を説明します。
複数の物理リンクを束ねると、スイッチにはなぜ1つの論理リンクとして見えるのか↑
リンクアグリゲーショングループは、並行するポイントツーポイントのリンクを1つの論理リンクとして扱えるようにします。スイッチの STP と MAC アドレスの学習は、通常、論理的なポートチャネルを単位として動作します。一方、データプレーンは選択したメンバーリンクからフレームを送出します。
これにより、1本のリンクで障害が起きても、残るメンバーリンクで通信を続けられます。また、複数の通信フローが使う帯域幅全体を分散できます。両端の装置と途中の経路は、同じ論理的な束に対応している必要があります。
2台のスイッチ間にある4本の 1Gbps リンクを個別のトランクとして使うと、STP はループを防ぐため、その一部を待機させることがあります。LAG として束ねると、上位プロトコルには1つのポートチャネルが見え、データプレーンは4つのメンバーから1つを選んでフレームを送ります。複数の通信フローを合わせて最大 4Gbps に近い容量を使えますが、各方向の実際のスループットは、トラフィックの分布と装置の制約によって変わります。
物理ポートが同じ論理的な束に参加するには、速度、双方向通信の方式、L2/L3 モード、アクセス・トランクの設定、許可する VLAN などの主要条件が合っている必要があります。片側だけをポートチャネルに束ね、反対側を独立したポートのままにすると、ループ、フレームの重複、パケットの損失が生じる可能性があります。スイッチスタック・MLAG のように複数のシャーシにまたがる構成は、制御部と装置間の接続にも依存します。そのため、単一装置でのリンクアグリゲーションとは障害条件を分けて考える必要があります。
メンバー間では、速度、デュプレックス方式、L2/L3 モード、VLAN 設定など、論理的な束を構成する条件が一致していなければなりません。条件の異なるポートを無理に束ねると、一方向にしか転送できなかったり、特定の VLAN だけが欠けたりする可能性があります。そのため、装置が Suspended または Individual 状態にして、束から除外することもあります。容量を設計するときは、メンバー数の合計だけでなく、動作に必要なリンクの最小数と、各リンクの実際の経路が互いに独立しているかも考慮します。
この節の出典 IEEE 802.1AX-2020
LACP は何の情報で、両端のポートが同じ論理的な束に属することを確認するのか↑
LACP を使うインターフェイスは LACPDU を交換し、System ID、Key、ポートの状態と優先度を通知します。両端の情報が適合するリンクだけがリンクアグリゲーションに参加し、実際に転送する状態に入ります。
ベンダーの Active・Passive などのモード名は、LACPDU を自ら先に送るかどうかを定める実装上の設定です。少なくとも片側がネゴシエーションを開始できる必要があります。静的な束では、この交換を行わず、両端の構成が一致していることを前提にします。
各 LACPDU には、Actor と Partner の System ID、ポート ID、Key、状態ビットが含まれます。両端の装置は、自分が送った情報が相手の Partner 情報として返ってくるかを確認し、同じ接続を認識しているかを判断します。同期したメンバーは、Collecting 状態ならフレームを受信するメンバーの集合に、Distributing 状態なら送信するメンバーの集合に参加できます。物理リンクが up であるだけでは、実際にデータを転送するメンバーだと判断できないのは、このためです。
片側のポートの Key やトランク設定が異なると、そのリンクが Individual または Suspended 状態のままになることがあります。このとき、ポートチャネルのインターフェイスは up のままで、残りのメンバーにはトラフィックも流れるため、容量の減少に気付きにくい場合があります。束全体の概要だけでなく、各メンバーの Actor・Partner 情報と Collecting/Distributing 状態を確認する必要があります。静的 LAG はこの不一致をプロトコルで検出できないため、変更管理と両端の設定確認がさらに重要です。
論理インターフェイスが up でも、一部のメンバーは Collecting/Distributing に参加していないことがあります。実際に双方向で束が成立しているかを把握するには、メンバーごとに Actor と Partner の System ID・Key、Synchronization、Collecting、Distributing の状態を確認する必要があります。MLAG のように、2台の物理装置が1つの論理システムとして見える実装では、Peer リンクと分断状態も別途確認します。
この節の出典 IEEE 802.1AX-2020 · Cisco Layer 2 EtherChannel and Trunking
1つの通信フローを複数のリンクに分けず、ハッシュ計算の結果で1つのメンバーに割り当てる理由↑
装置は、送信元・宛先の MAC アドレス、IP アドレス、TCP/UDP ポートなど、対応しているフィールドを組み合わせてハッシュを計算し、メンバーリンクを選びます。同じ通信フローを1本のリンクに固定すると、パケットの順序が入れ替わる可能性を抑えられます。
したがって、1つの TCP 通信フローは、通常、1つのメンバーの速度上限を超えられません。複数のクライアント・サーバーと通信フローに十分な多様性があって、初めて束全体の合計容量を活用できます。実際にハッシュ計算に使うフィールドとアルゴリズムは、ASIC、ソフトウェア、設定によって異なります。
メンバーが4つあっても、ハッシュ計算によるフローの割り当ては、通信フロー番号1から順にメンバーを選ぶという単純な方式ではありません。装置は、選択した送信元 IP アドレス・宛先 IP アドレスとポートのビットを使ってバケットを求め、そのバケットをメンバーに対応付けます。同じ5 タプルのパケットは同じバケットを使うため、順序が入れ替わる可能性を減らせます。逆方向では反対側の装置が独立してハッシュを計算するので、リクエストと応答が必ず同じ物理メンバーを通る必要はありません。
単一の TCP 接続によるコピーが 1Gbps のメンバー1つを使っている場合、残り3本のリンクが空いていても、その通信フローをパケット単位に分割しないのが一般的です。複数の TCP 接続を作るファイル転送や、複数のクライアントからのトラフィックは、それぞれ異なるタプルを使うため、ハッシュ計算の結果に応じて合計容量を活用できます。ASIC が対応するフィールドや、内側のヘッダーを解釈できるかどうかは、プラットフォームによって異なります。オーバーレイトラフィックでは、外側のトンネルアドレスだけをハッシュ計算に使うことで、偏りが生じていないかも確認します。
結果として、単一の大容量 TCP 通信フローの最大速度は、通常、1つのメンバーの速度を超えられません。複数のユーザー・セッションが異なるハッシュバケットに分散すると、論理的な束の合計容量を活用できます。装置によってはレジリエントハッシングやパケット単位の方式を使える場合もあります。「EtherChannel は常に5 タプルのハッシュを使う」と決めつけず、実際のアルゴリズムと対応フィールドを確認します。
この節の出典 IEEE 802.1AX-2020
4本のリンクがすべて動いていても、1つのメンバーだけが混雑するのはなぜか↑
すべての通信が同じサーバーの IP アドレスとポートに向かい、ハッシュ計算がこの宛先情報だけを使う場合、入力値が同じになるため、1つのメンバーに集中することがあります。これは LACP のネゴシエーション失敗ではなく、トラフィックの特性とハッシュ計算の結果によるものかもしれません。
インターフェイスごとのバイト・パケットカウンターと、通信フローの分布を併せて確認します。ハッシュ計算の基準を変えると、別のトラフィックには不利になることもあります。1回の速度試験だけを見て、全体のポリシーを変更しないようにします。
1台のバックアップサーバーに数百のクライアントが接続していても、ハッシュ計算が宛先 MAC アドレスと宛先 IP アドレスだけを使うと、全フローが同じ値で計算され、1つのメンバーに集中する可能性があります。レイヤー 4 のポートまで含めれば分布が改善することもありますが、IP フラグメント、暗号化トンネル、ハードウェアの対応条件によって、利用可能なフィールドは制限されます。適切なハッシュ計算の基準を選ぶには、最も多くのトラフィックを生む実際の通信フローについて、ヘッダーの多様性を先に調べる必要があります。
インターフェイスの平均使用率だけを見ると、短時間のトラフィック集中や、特定メンバーのキューでの破棄を見落とすことがあります。メンバーごとのバイト数・パケット数、破棄・キュー・エラーのカウンターを同じ間隔で収集し、ポートチャネルの合計値と比較します。ハッシュ計算の方法を変えると、既存フローの送信リンクが変わり、パケットの順序が一時的に入れ替わる可能性があります。そのため、変更する時間と元に戻す方法も決めておく必要があります。トラフィックを常に均等に分けることより、どのフローがボトルネックに直面し、どれだけ損失が生じるかを確認することが重要です。
まず、メンバーごとのバイト・パケット・破棄カウンターを同じ間隔で測定し、トラフィック量の多いフローの送信元・宛先と、現在のハッシュ計算への入力を確認します。レイヤー 4 のポートを含むアルゴリズムに変えると、分布が改善することがあります。ただし、IP フラグメント、暗号化トンネル、少数のエンドポイントなど、入力の多様性が低い場合には効果が限られます。変更時は、既存フローの再割り当てや順序の変化が起こり得ることを考慮して試験します。
この節の出典 IEEE 802.1AX-2020 · Cisco Layer 2 EtherChannel and Trunking
図で確認すること 左は単一の通信フローを1本のメンバーリンクに割り当てる場合、右は異なる5 タプルを持つ複数のフローを、メンバーリンクに分散して割り当てられる場合を示しています。ハッシュ計算への入力の説明とバケットの割り当てを比較します。ただし、同数のバケットを割り当てても、リンクごとの実際の転送量は異なり得ることを区別して読みます。
↔ 図は左右にスクロールできます。
メンバーリンクが1本切れると、既存の通信フローは残るリンクへどう移るのか↑
物理リンクが down になるか、LACP が Partner の状態を失うと、そのメンバーを、転送に使うメンバーの集合から除外します。そのメンバーを使っていた通信フローは、残るリンクのいずれかに再割り当てされます。
切り替え中には、一部のパケットの損失や TCP の再送が生じることがあります。最小リンク数を設定した環境では、残るメンバー数が基準を下回ると、論理 LAG 全体を down にして、上位のルーティングや冗長化の仕組みに別の経路を選ばせることができます。
光信号が失われると、物理層が速やかに down を通知できる場合があります。一方、一方向だけが切れた場合や、相手が LACPDU の送信を止めた場合には、LACP のタイムアウト後にメンバーが除外されることがあります。その間に一部のフレームが失われる可能性があります。メンバーが外れると、ハッシュバケットは残るリンクに再割り当てされます。実装によって、多くのフローが移動する場合と、影響を受けるバケットだけが変わる場合があります。既存の TCP 通信が再送で回復しても、リアルタイム UDP 通信では損失がそのまま現れます。
最小リンク数は、残存容量がサービスの要求を下回ったことを上位プロトコルに知らせるためのポリシーです。4本のリンクのうち1本しか残っていなくても、ポートチャネルを up のままにすると、ルーティングはこの経路を使い続け、残る 1Gbps に過負荷がかかる可能性があります。最低2本を必要とする設定なら、それより少なくなった場合に論理インターフェイスを down にして、別のルートを選ばせることができます。しきい値は、可用性だけでなく、必要な最小容量と、迂回経路が処理できる負荷を基準に決めます。
min-links は、利用可能なメンバー数が設定した最小値を下回ると、ポートチャネル全体を down にできる機能です。必要な最小容量に合わせて値を設定すると、上位の経路を別の接続へ切り替えるために使えます。ただし、迂回経路に十分な容量があり、ルーティングも収束する必要があります。メンバーの復旧時に既存フローのリンク割り当てが変わるかどうかは、装置とハッシュ方式によって異なります。そのため、障害時の切り替えと復帰をそれぞれ試験します。
この節の出典 IEEE 802.1AX-2020
図で確認すること 左は4本のメンバーリンクが動作する正常時の状態、右は Port 4 を除外した後のバケット割り当ての例です。利用可能なリンクが変わったとき、残る3本にバケットがどう割り当てられるかを比較します。バケット数の比率と実際の転送量の比率は異なり、切り替え時間と損失は別途試験する必要があります。
↔ 図は左右にスクロールできます。
ポートチャネルの up 表示だけでなく、メンバーごとの状態とカウンターを確認する↑
状況: 4×1Gbps のポートチャネルなのに、1つの大容量転送が約 1Gbps を超えられません。
- 4つのメンバーがすべて LACP の Collecting・Distributing 状態にあるか確認します。
- 単一の TCP 通信フローなのか、複数の独立した通信フローなのか、試験条件を区別します。
- 装置が現在ハッシュ計算に使っているフィールドと、メンバーごとのバイトカウンターを確認します。
- 送信元・宛先の異なる複数の通信フローで、合計容量を再測定します。
- メンバーリンクを1本切り離し、フローの再割り当てと上位プロトコルへの影響を検証した後、元に戻します。
単一フローと複数フローは分けて試験します。1つの TCP 接続でメンバーリンクの速度上限とパケット損失を確認し、送信元・宛先・ポートが異なる複数のフローで、ポートチャネル全体の分散状態を測定します。両端の装置から、同時刻のメンバー別カウンターと LACP の状態も収集します。一方の送信が特定のリンクに集中していても、反対側からの応答が同じリンクを使うとは断定できません。
障害試験ではメンバーリンクを1本ずつ切断し、ポートチャネルの状態、フローの再割り当て、パケット損失、上位の STP・ルーティングの変化を記録します。残るメンバー数が設定した最小値を下回ったときにバックアップ経路が選ばれるか、リンクを復旧すると繰り返し切断されることなく束へ再参加するかを確認します。設定変更後は、許可する VLAN や MTU など、論理インターフェイスの設定がすべてのメンバーに一貫して適用されているかも照合します。
4つのポートがすべて緑色でも、4本のリンクをすべて使えるとは限りません。各リンクが正常に束へ参加しているか、フローがどう分散しているか、障害後はどのリンクで転送されるかまで確認して、初めて実際に使える容量が分かります。
この節の出典 IEEE 802.1AX-2020 · Cisco Layer 2 EtherChannel and Trunking
よくある質問↑
LACP と EtherChannel は同じ意味ですか?
用語集↑
この記事で使用した主要な用語の一覧です。各用語の説明は全体の用語集で確認できます。
- LAG Link Aggregation Group
- 複数のメンバーリンクを、1本の集約リンクとして運用する論理的なまとまりです。
- LACP Link Aggregation Control Protocol
- 集約するリンクのメンバーを協議し、維持するための Link Aggregation Control Protocol です。
- LACPDU
- LACP でシステム、ポート、キー、状態の情報を交換するための制御フレームです。
- メンバーリンク
- リンクアグリゲーショングループに参加する、個々の物理リンクです。
- フローのハッシュ値
- フレームやパケットのヘッダーにある選択されたフィールドから計算し、通信フローが使うメンバーリンクを選ぶための値です。
- Collecting
- LACP のメンバーリンクが、受信したフレームを論理アグリゲーターに渡せる状態です。
- Distributing
- LACP のメンバーリンクが、論理アグリゲーターから渡されたフレームを送信できる状態です。
- 最小リンク数
- 論理 LAG を稼働状態に保つために必要な、アクティブなメンバーリンクの最小数を指定する実装上の機能です。
出典
- IEEE 802.1AX-2020 — リンクアグリゲーションの現行標準
- Cisco Layer 2 EtherChannel and Trunking — LACP を使わない EtherChannel・トランクの構成例
- IEEE 802.1AX-2014 Project — リンクアグリゲーション標準のプロジェクト情報
ハッシュ計算に使うフィールド、メンバー数、最小リンク数の設定、障害時の切り替え動作は、装置とソフトウェアによって異なります。複数のリンクの帯域幅を足した値が、1つの通信の速度になるわけではありません。