Network Packet De-duplication for your Data Optimization via Nework Packet Broker

データ重複除外は、ストレージ容量を最適化する一般的なストレージテクノロジです。データセットから重複データを削除し、コピーを 1 つだけ残すことで冗長データを排除します。次の図に示すように、このテクノロジにより、物理ストレージの必要性を大幅に削減できます。重複排除テクノロジーは、主に次の側面を含む多くの実用的な利点をもたらします。

(1)	ROI (投資収益率)/TCO (総所有コスト) 要件を満たします。
(2)	データの急速な増加は効果的に制御できます。
(3)	有効な保管スペースを増やし、保管効率を向上させます。
(4)	総ストレージコストと管理コストを節約します。
(5)	データ送信のネットワーク帯域幅を節約します。
(6)	スペース、電源、冷却などの運用およびメンテナンスのコストを節約します。

重複排除テクノロジは、データのバックアップおよびアーカイブシステムで広く使用されています。これは、データを複数回バックアップした後に重複データが大量に存在するためであり、このテクノロジに非常に適しています。実際、重複排除テクノロジは、オンラインデータを含むさまざまな状況で使用できます。ニアラインデータとオフラインデータストレージシステム。ファイルシステム、ボリュームマネージャー、NAS、SAN に実装できます。重複排除は、データのパッケージ化にデータ圧縮テクノロジを使用できるため、データの災害復旧、データの送信、同期にも使用できます。重複排除テクノロジは、多くのアプリケーションのデータ容量削減に役立ちます。データストレージ、ネットワーク帯域幅の節約、ストレージ効率の向上、バックアップウィンドウの短縮、コストの削減を実現します。

重複排除には、重複排除率とパフォーマンスの 2 つの主要な側面があります。重複排除のパフォーマンスは特定の実装テクノロジに依存しますが、重複排除率は、以下の表に示すように、データ自体の特性とアプリケーションパターンによって決まります。ストレージベンダーは現在、以下の範囲の重複排除率を報告しています。 20:1から500:1まで。

高い重複排除率	低い重複排除率
ユーザーが作成したデータ	自然界からのデータ
データの変化率が低い	データの高い変化率
参照データ、非アクティブデータ	アクティブなデータ
データ変更率の低いアプリケーション	データ変更率の高いアプリケーション
完全なデータのバックアップ	増分データバックアップ
データの長期保存	データの短期保存
幅広いデータアプリケーション	小規模なデータアプリケーション
継続的なデータビジネス処理	データ業務処理全般
小さなデータのセグメント化	ビッグデータのセグメンテーション
拡張されたデータセグメンテーション	固定長データのセグメント化
認識されるデータの内容	データ内容不明
時刻データの重複排除	空間データの重複排除

重複排除の実装ポイント

Dedupe テクノロジーを開発または適用する際には、さまざまな要素を考慮する必要があります。これらの要素はそのパフォーマンスと有効性に直接影響します。

(1)	何	どのようなデータが重み付け解除されますか?
(2)	いつ	体重はいつ解消されますか？
(3)	どこ	減量はどこにありますか？
(4)	どうやって	体重を減らすにはどうすればいいですか？

重複排除キーテクノロジー

一般的なストレージシステムの重複排除プロセスは次のとおりです。まず、データファイルがデータのセットに分割され、データのブロックごとにフィンガープリントが計算されます。次に、フィンガープリントハッシュの検索キーワードに基づいて、一致するデータが重複していることを示します。データブロックには、データブロックのインデックス番号のみが格納されます。それ以外の場合は、データブロックが新しいデータブロックのストレージの唯一の部分であることを意味し、関連するメタ情報が作成されます。したがって、ストレージシステム内の物理ファイルは、ファイルの論理表現に対応します。 FP メタデータのセット。ファイルを作成するには、最初に論理ファイルを読み取り、次に FP シーケンスに従って、ストレージシステムから対応するデータブロックを取り出し、物理ファイルのコピーを復元します。上記のプロセスから、重複排除の主要なテクノロジには主に次のものがあることがわかります。ファイルデータブロックのセグメント化、データブロックのフィンガープリントの計算、およびデータブロックの取得。

(1) ファイルデータブロックの分割

(2) データブロックフィンガープリント計算

(3) データブロックの取得