現在、ネットワークの監視とトラブルシューティングに最も一般的なツールは、ポート ミラーリングとも呼ばれるスイッチ ポート アナライザ (SPAN) です。これにより、ライブ ネットワーク上のサービスに干渉することなく、バイパス アウトオブバンド モードでネットワーク トラフィックを監視でき、監視対象のトラフィックのコピーをローカルまたはリモート デバイス (スニファー、IDS、またはその他の種類のネットワーク分析ツールなど) に送信できます。
典型的な用途は次のとおりです。
• 制御/データ フレームを追跡することで、ネットワークの問題をトラブルシューティングします。
• VoIP パケットを監視して遅延とジッターを分析します。
• ネットワークの相互作用を監視して遅延を分析します。
• ネットワーク トラフィックを監視して異常を検出します。
SPAN トラフィックは、同じ送信元デバイス上の他のポートにローカルにミラーリングすることも、送信元デバイス（RSPAN）のレイヤ 2 に隣接する他のネットワーク デバイスにリモートでミラーリングすることもできます。
今日は、3 つの IP 層にわたって送信できる ERSPAN (Encapsulated Remote Switch Port Analyzer) と呼ばれるリモート インターネット トラフィック監視テクノロジについて説明します。これは、SPAN を Encapsulated Remote に拡張したものです。
ERSPAN の基本動作原理
まず、ERSPAN の機能を見てみましょう。
• 送信元ポートからのパケットのコピーは、Generic Routing Encapsulation（GRE）による解析のために宛先サーバーに送信されます。サーバーの物理的な場所は制限されません。
• チップのユーザー定義フィールド (UDF) 機能を利用して、エキスパート レベルの拡張リストを通じてベース ドメインに基づいて 1 ～ 126 バイトのオフセットが実行され、セッション キーワードが照合されて視覚化が実現されます。 TCP スリーウェイ ハンドシェイクや RDMA セッションなどのセッションの。
• サンプリングレートの設定をサポート。
• パケットインターセプト長（パケットスライシング）をサポートし、ターゲットサーバーへの負荷を軽減します。
これらの機能を見ると、ERSPAN が今日データセンター内のネットワークを監視するために不可欠なツールである理由がわかります。
ERSPAN の主な機能は、次の 2 つの側面に要約できます。
• セッションの可視性: ERSPAN を使用して、作成されたすべての新しい TCP およびリモート ダイレクト メモリ アクセス (RDMA) セッションをバックエンド サーバーに収集して表示します。
• ネットワークのトラブルシューティング: ネットワークの問題が発生したときに、障害分析のためにネットワーク トラフィックをキャプチャします。
これを行うには、ソース ネットワーク デバイスは、大量のデータ ストリームからユーザーが関心のあるトラフィックをフィルタリングして除外し、コピーを作成し、各コピー フレームを十分な追加情報を運ぶ特別な「スーパーフレーム コンテナ」にカプセル化する必要があります。受信デバイスに正しくルーティングされること。さらに、受信デバイスが元の監視対象トラフィックを抽出して完全に回復できるようにします。
受信デバイスは、ERSPAN パケットのカプセル化解除をサポートする別のサーバにすることもできます。
ERSPAN タイプとパッケージ形式の分析
ERSPAN パケットは GRE を使用してカプセル化され、イーサネット経由で IP アドレス指定可能な宛先に転送されます。 ERSPAN は現在、主に IPv4 ネットワークで使用されており、将来的には IPv6 のサポートが必須となる予定です。
ERSAPN の一般的なカプセル化構造の場合、次は ICMP パケットのミラー パケット キャプチャです。
ERSPAN プロトコルは長期間にわたって開発され、その機能の強化により、「ERSPAN タイプ」と呼ばれるいくつかのバージョンが形成されました。タイプが異なれば、フレーム ヘッダー形式も異なります。
これは、ERSPAN ヘッダーの最初の Version フィールドで定義されます。
さらに、GRE ヘッダーの Protocol Type フィールドも内部 ERSPAN タイプを示します。プロトコル タイプ フィールド 0x88BE は ERSPAN タイプ II を示し、0x22EB は ERSPAN タイプ III を示します。
1. タイプ I
タイプ I の ERSPAN フレームは、元のミラー フレームのヘッダー上に IP と GRE を直接カプセル化します。このカプセル化により、元のフレームに 38 バイト (14(MAC) + 20 (IP) + 4(GRE)) が追加されます。この形式の利点は、ヘッダー サイズがコンパクトで、送信コストが削減されることです。ただし、GRE フラグ フィールドとバージョン フィールドを 0 に設定するため、拡張フィールドは持たず、タイプ I は広く使用されていないため、さらに拡張する必要はありません。
Type I の GRE ヘッダー形式は次のとおりです。
2. タイプ II
タイプ II では、GRE ヘッダーの C、R、K、S、S、Recur、Flags、および Version フィールドは、S フィールドを除いてすべて 0 です。したがって、タイプ II の GRE ヘッダーにはシーケンス番号フィールドが表示されます。つまり、タイプ II では、GRE パケットの受信順序を保証できるため、ネットワーク障害によって順序が乱れた大量の GRE パケットが分類されることがなくなります。
Type II の GRE ヘッダー形式は次のとおりです。
さらに、ERSPAN Type II フレーム形式では、GRE ヘッダーと元のミラーリングされたフレームの間に 8 バイトの ERSPAN ヘッダーが追加されます。
タイプ II の ERSPAN ヘッダー形式は次のとおりです。
最後に、元の画像フレームの直後に、標準の 4 バイトのイーサネット巡回冗長検査 (CRC) コードが続きます。
この実装では、ミラー フレームには元のフレームの FCS フィールドが含まれず、代わりに ERSPAN 全体に基づいて新しい CRC 値が再計算されることに注意してください。これは、受信デバイスが元のフレームの CRC の正しさを検証できないことを意味し、破損していないフレームのみがミラーリングされると想定することしかできません。
3. タイプⅢ
タイプ III では、ネットワーク管理、侵入検知、パフォーマンスと遅延の分析などを含む (ただしこれらに限定されない)、ますます複雑かつ多様化するネットワーク監視シナリオに対処するために、より大規模で柔軟な複合ヘッダーが導入されています。これらのシーンは、ミラー フレームの元のパラメータをすべて知っている必要があり、元のフレーム自体には存在しないパラメータも含まれています。
ERSPAN タイプ III 複合ヘッダーには、必須の 12 バイトのヘッダーと、オプションの 8 バイトのプラットフォーム固有のサブヘッダーが含まれています。
タイプ III の ERSPAN ヘッダー形式は次のとおりです。
繰り返しますが、元のミラー フレームの後には 4 バイトの CRC があります。
タイプ III のヘッダー形式からわかるように、タイプ II に基づいて Ver、VLAN、COS、T、およびセッション ID フィールドを保持することに加えて、次のような多くの特別なフィールドが追加されています。
• BSO: ERSPAN を通じて伝送されるデータ フレームの負荷整合性を示すために使用されます。 00 は良好なフレーム、11 は不良フレーム、01 は短いフレーム、11 は大きなフレームです。
• タイムスタンプ: システム時間と同期したハードウェア クロックからエクスポートされます。この 32 ビット フィールドは、少なくとも 100 マイクロ秒のタイムスタンプ粒度をサポートします。
• フレーム タイプ（P）およびフレーム タイプ（FT）：前者は、ERSPAN がイーサネット プロトコル フレーム（PDU フレーム）を伝送するかどうかを指定するために使用され、後者は、ERSPAN がイーサネット フレームと IP パケットを伝送するかどうかを指定するために使用されます。
• HW ID: システム内の ERSPAN エンジンの一意の識別子。
• Gra (タイムスタンプの粒度) : タイムスタンプの粒度を指定します。たとえば、00B は 100 マイクロ秒の粒度、01B は 100 ナノ秒の粒度、10B IEEE 1588 粒度を表し、11B はより高い粒度を達成するためにプラットフォーム固有のサブヘッダーを必要とします。
• Platf ID とプラットフォーム固有情報: Platf 固有情報フィールドの形式と内容は、Platf ID 値に応じて異なります。
上記でサポートされているさまざまなヘッダー フィールドは、元のトランク パッケージと VLAN ID を維持しながら、エラー フレームや BPDU フレームのミラーリングでも、通常の ERSPAN アプリケーションで使用できることに注意してください。さらに、ミラーリング中に、主要なタイムスタンプ情報およびその他の情報フィールドを各 ERSPAN フレームに追加できます。
ERSPAN 独自の機能ヘッダーを使用すると、ネットワーク トラフィックをより詳細に分析でき、対象のネットワーク トラフィックに一致するように ERSPAN プロセスに対応する ACL をマウントするだけです。
ERSPAN は RDMA セッションの可視性を実装します
ERSPAN テクノロジーを使用して、RDMA シナリオで RDMA セッションの視覚化を実現する例を見てみましょう。
RDMA: リモート ダイレクト メモリ アクセスにより、サーバー A のネットワーク アダプターは、インテリジェント ネットワーク インターフェイス カード (inis) とスイッチを使用してサーバー B のメモリを読み書きできるようになり、高帯域幅、低遅延、低リソース使用率が実現されます。ビッグ データや高性能分散ストレージのシナリオで広く使用されています。
RoCEv2: RDMA over Converged Ethernet バージョン 2。RDMA データは UDP ヘッダーにカプセル化されます。宛先ポート番号は 4791 です。
RDMA の日常の運用と保守には、異常な問題を特定するための基礎となるだけでなく、毎日の水位基準線や異常警報を収集するために使用される大量のデータを収集する必要があります。 ERSPAN と組み合わせると、大量のデータを迅速にキャプチャして、マイクロ秒の転送品質データとスイッチング チップのプロトコル相互作用ステータスを取得できます。データの統計と分析を通じて、RDMA のエンドツーエンド転送品質の評価と予測を取得できます。
RDAM セッションの視覚化を実現するには、トラフィックをミラーリングするときに ERSPAN が RDMA インタラクション セッションのキーワードと一致する必要があり、エキスパート拡張リストを使用する必要があります。
エキスパートレベルの拡張リスト一致フィールド定義:
UDF は、UDF キーワード、ベース フィールド、オフセット フィールド、値フィールド、マスク フィールドの 5 つのフィールドで構成されます。ハードウェア エントリの容量によって制限され、合計 8 つの UDF を使用できます。 1 つの UDF は最大 2 バイトと一致します。
• UDF キーワード: UDF1... UDF8 UDF 一致ドメインの 8 つのキーワードが含まれます。
• ベースフィールド: UDF マッチングフィールドの開始位置を識別します。次の
L4_header (RG-S6520-64CQ に適用)
L5_header (RG-S6510-48VS8Cq 用)
• オフセット: ベースフィールドに基づくオフセットを示します。値の範囲は 0 ～ 126 です。
• 値フィールド: 一致する値。マスク フィールドと一緒に使用して、一致する特定の値を構成できます。有効ビットは2バイトです
• マスクフィールド: マスク、有効ビットは 2 バイト
(追加: 同じ UDF マッチング フィールドで複数のエントリが使用されている場合、ベース フィールドとオフセット フィールドは同じである必要があります。)
RDMA セッション ステータスに関連する 2 つの主要なパケットは、輻輳通知パケット (CNP) と否定応答 (NAK) です。
前者は、スイッチによって送信された ECN メッセージを受信した後 (eout バッファがしきい値に達したとき)、RDMA レシーバーによって生成されます。このメッセージには、輻輳の原因となっているフローまたは QP に関する情報が含まれています。後者は、RDMA 送信にパケット損失応答メッセージがあることを示すために使用されます。
専門家レベルの拡張リストを使用して、これら 2 つのメッセージを照合する方法を見てみましょう。
エキスパート アクセス リスト拡張 RDMA
許可 udp any any any any eq 4791udf 1 l4_header 8 0x8100 0xFF00(RG-S6520-64CQに適合)
許可 udp any any any any eq 4791udf 1 l5_ヘッダー 0 0x8100 0xFF00(RG-S6510-48VS8CQに適合)
エキスパート アクセス リスト拡張 RDMA
許可 udp any any any any eq 4791udf 1 l4_header 8 0x1100 0xFF00 udf 2 l4_header 20 0x6000 0xFF00(RG-S6520-64CQに適合)
許可 udp any any any any eq 4791udf 1 l5_header 0 0x1100 0xFF00 udf 2 l5_header 12 0x6000 0xFF00(RG-S6510-48VS8CQに適合)
最後のステップとして、エキスパート拡張リストを適切な ERSPAN プロセスにマウントすることで、RDMA セッションを視覚化できます。
最後に書いてください
ERSPAN は、今日のますます大規模化するデータセンター ネットワーク、ますます複雑になるネットワーク トラフィック、ますます高度化するネットワーク運用とメンテナンスの要件において不可欠なツールの 1 つです。
O&M の自動化の度合いが高まるにつれ、Netconf、RESTconf、gRPC などのテクノロジーがネットワーク自動 O&M の O&M 学生の間で人気になっています。ミラー トラフィックを返送するための基礎となるプロトコルとして gRPC を使用することにも、多くの利点があります。たとえば、HTTP/2 プロトコルに基づいて、同じ接続でストリーミング プッシュ メカニズムをサポートできます。 ProtoBuf エンコードを使用すると、情報のサイズが JSON 形式と比較して半分に削減され、データ送信がより高速かつ効率的になります。想像してみてください。ERSPAN を使用して関心のあるストリームをミラーリングし、それを gRPC 上の分析サーバーに送信すると、ネットワークの自動運用と保守の能力と効率が大幅に向上しますか?
投稿日時: 2022 年 5 月 10 日
