ニュース - ネットワークパケットブローカーによるデータ最適化のためのネットワークパケット重複排除

データ重複排除は、ストレージ容量を最適化する人気の高いストレージ技術です。データセットから重複データを削除してコピーを1つだけ残すことで、冗長なデータを排除します。下の図に示すように、この技術は、増大するデータストレージの需要を満たすために必要な物理的なストレージスペースを大幅に削減できます。重複排除技術は、主に次の側面を含む多くの実用的な利点をもたらします。

（１）	投資収益率（ROI）および総所有コスト（TCO）の要件を満たす。
（２）	データの急速な増加は効果的に制御できる。
（３）	有効収納スペースを増やし、収納効率を向上させる。
（４）	保管コストと管理コストの合計を削減する。
（５）	データ伝送のネットワーク帯域幅を節約する。
（６）	スペース、電力供給、冷却などの運用・保守コストを削減できます。

重複排除技術は、データのバックアップやアーカイブシステムで広く使用されています。これは、データの複数回のバックアップ後には多くの重複データが発生するため、この技術に非常に適しているためです。実際、重複排除技術は、オンラインデータ、ニアラインデータ、オフラインデータストレージシステムなど、多くの状況で使用できます。ファイルシステム、ボリュームマネージャ、NAS、SANに実装できます。重複排除は、データ圧縮技術としてデータパッケージングに使用できるため、データ災害復旧、データ転送、同期にも使用できます。重複排除技術は、多くのアプリケーションでデータストレージを削減し、ネットワーク帯域幅を節約し、ストレージ効率を向上させ、バックアップウィンドウを短縮し、コストを削減するのに役立ちます。

重複排除には、重複排除率とパフォーマンスという2つの主要な側面があります。重複排除のパフォーマンスは特定の実装技術に依存しますが、重複排除率は、以下の表に示すように、データ自体の特性とアプリケーションパターンによって決まります。ストレージベンダーは現在、20:1から500:1の範囲の重複排除率を報告しています。

高い重複排除率	重複排除率が低い
ユーザーによって作成されたデータ	自然界からのデータ
データの変化率が低い	データの変化率が高い
参照データ、非アクティブデータ	アクティブデータ
データ変更率の低いアプリケーション	データ変更率の高いアプリケーション
完全なデータバックアップ	増分データバックアップ
データの長期保存	データの短期保存
幅広いデータアプリケーション	データアプリケーションの範囲は限られています
継続的なデータビジネス処理	一般的なデータビジネス処理
小規模データセグメンテーション	ビッグデータセグメンテーション
データ分割を延長する	固定長データ分割
データコンテンツが認識される	データの内容は不明です。
時間データの重複排除	空間データ重複排除

重複排除の実装ポイント

重複排除技術を開発または適用する際には、さまざまな要素を考慮する必要があります。これらの要素は、その性能と有効性に直接影響を与えるからです。

（１）	何	どのようなデータが重み付け解除されるのですか？
（２）	いつ	体重はいつ減るのでしょうか？
（３）	どこ	減量はどこで行われるのですか？
（４）	どうやって	体重を減らすにはどうすればいいですか？

重複排除の主要技術

ストレージシステムの重複排除プロセスは一般的に次のとおりです。まず、データファイルをデータのセットに分割し、各データブロックに対してフィンガープリントを計算します。次に、フィンガープリントハッシュに基づいてキーワードを検索し、一致するデータがあれば重複データブロックを示し、データブロックのインデックス番号のみを保存します。そうでなければ、データブロックは新しいデータの唯一の部分であることを意味します。データブロックを保存し、関連するメタ情報を作成します。したがって、ストレージシステム内の物理ファイルは、FPメタデータのセットの論理表現に対応します。ファイルを読み取るときは、まず論理ファイルを読み取り、次にFPシーケンスに従って、ストレージシステムから対応するデータブロックを取り出し、物理ファイルのコピーを復元します。上記のプロセスから、重複排除の主要技術は主にファイルデータブロックの分割、データブロックフィンガープリントの計算、およびデータブロックの取得であることがわかります。

（１）ファイルデータブロックの分割

（２）データブロックフィンガープリントの計算

（３）データブロックの取得