Datendeduplizierung ist eine beliebte und beliebte Speichertechnologie, die die Speicherkapazität optimiert. Sie eliminiert redundante Daten, indem doppelte Daten aus dem Datensatz entfernt werden und nur eine Kopie übrig bleibt. Wie in der Abbildung unten dargestellt. Diese Technologie kann den Bedarf an physischem Speicher erheblich reduzieren Platz, um den wachsenden Bedarf an Datenspeicherung zu decken. Die Deduplizierungstechnologie kann viele praktische Vorteile mit sich bringen, darunter vor allem die folgenden Aspekte:
| (1) | Erfüllen Sie die Anforderungen an ROI (Return On Investment)/TCO (Total Cost of Ownership); |
| (2) | Das schnelle Datenwachstum kann effektiv kontrolliert werden; |
| (3) | Erhöhen Sie den effektiven Lagerraum und verbessern Sie die Lagereffizienz. |
| (4) | Sparen Sie die gesamten Speicher- und Verwaltungskosten; |
| (5) | Sparen Sie die Netzwerkbandbreite der Datenübertragung; |
| (6) | Sparen Sie Betriebs- und Wartungskosten wie Platz, Stromversorgung und Kühlung. |
Die Deduplizierungstechnologie wird häufig in Datensicherungs- und Archivierungssystemen verwendet, da es nach mehreren Datensicherungen viele doppelte Daten gibt, was für diese Technologie sehr gut geeignet ist. Tatsächlich kann die Deduplizierungstechnologie in vielen Situationen verwendet werden, einschließlich Online-Daten. Nearline-Daten und Offline-Datenspeichersysteme. Es kann in Dateisystemen, Volume-Managern, NAS und Sans implementiert werden. Dedupe kann auch für die Notfallwiederherstellung, Datenübertragung und -synchronisierung von Daten verwendet werden, da eine Datenkomprimierungstechnologie für die Datenverpackung verwendet werden kann. Die Dedupe-Technologie kann bei vielen Anwendungen zur Reduzierung beitragen Datenspeicherung, Einsparung von Netzwerkbandbreite, Verbesserung der Speichereffizienz, Verkürzung des Sicherungsfensters und Einsparung von Kosten.
Die Deduplizierung hat zwei Hauptdimensionen: Deduplizierungsraten und Leistung. Die Deduplizierungsleistung hängt von der spezifischen Implementierungstechnologie ab, während die Deduplizierungsrate durch die Eigenschaften der Daten selbst und Anwendungsmuster bestimmt wird, wie in der Tabelle unten dargestellt. Speicheranbieter berichten derzeit über schwankende Deduplizierungsraten von 20:1 bis 500:1.
| Hohe Deduplizierungsrate | Niedrige Deduplizierungsrate |
| Vom Benutzer erstellte Daten | Daten aus der Natur |
| Niedrige Datenänderungsrate | Hohe Datenänderungsrate |
| Referenzdaten, inaktive Daten | Aktive Daten |
| Anwendung mit geringer Datenänderungsrate | Anwendung mit hoher Datenänderungsrate |
| Vollständige Datensicherung | Inkrementelle Datensicherung |
| Daten-Langzeitspeicherung | Kurzfristige Datenspeicherung |
| Große Auswahl an Datenanwendungen | Kleines Spektrum an Datenanwendungen |
| Kontinuierliche Datengeschäftsverarbeitung | Allgemeine Geschäftsdatenverarbeitung |
| Kleine Datensegmentierung | Big-Data-Segmentierung |
| Verlängern Sie die Datensegmentierung | Datensegmentierung mit fester Länge |
| Dateninhalt wahrgenommen | Dateninhalt unbekannt |
| Zeitdatendeduplizierung | Geodatendeduplizierung |
Implementierungspunkte deduplizieren
Bei der Entwicklung oder Anwendung der Dedupe-Technologie sollten verschiedene Faktoren berücksichtigt werden, da diese Faktoren sich direkt auf deren Leistung und Wirksamkeit auswirken.
| (1) | Was | Welche Daten werden entgewichtet? |
| (2) | Wann | Wann wird das Gewicht beseitigt? |
| (3) | Wo | Wo bleibt die Gewichtsabnahme? |
| (4) | Wie | Wie kann man das Gewicht reduzieren? |
Schlüsseltechnologie deduplizieren
Der Deduplizierungsprozess des Speichersystems sieht im Allgemeinen wie folgt aus: Zuerst wird die Datendatei in einen Datensatz unterteilt, für jeden Datenblock wird ein Fingerabdruck berechnet, und dann werden anhand des Fingerabdruck-Hash-Suchschlüsselworts die passenden Daten für das Duplikat ermittelt Datenblöcke speichern nur die Indexnummer des Datenblocks, andernfalls bedeutet dies, dass der Datenblock der einzige Teil eines neuen Datenblocks ist, der Datenblöcke speichert und relevante Metainformationen erstellt. Somit entspricht eine physische Datei im Speichersystem einer logischen Darstellung von a Satz von FP-Metadaten. Beim Lesen der Datei Lesen Sie zuerst die logische Datei, entnehmen Sie dann gemäß der FP-Sequenz den entsprechenden Datenblock aus dem Speichersystem und stellen Sie die Kopie der physischen Datei wieder her. Aus dem obigen Prozess ist ersichtlich, dass die Schlüsseltechnologien von Dedupe hauptsächlich Dateidaten umfassen Blocksegmentierung, Berechnung des Datenblock-Fingerabdrucks und Datenblockabruf.
(1) Segmentierung von Dateidatenblöcken
(2) Berechnung des Fingerabdrucks des Datenblocks
(3) Datenblockabruf
So finden Sie diese empfohlenen Modelle zum Starten Ihrer Netzwerkpaketdeduplizierung:
Mylinking™ Network Packet Broker (NPB) ML-NPB-640048*10GE SFP+ plus 4*40GE/100GE QSFP28, max. 880 Gbit/s
Mylinking™ Network Packet Broker (NPB) ML-NPB-56606*40GE/100GE QSFP28 plus 48*10GE/25GE SFP28, max. 1,8 Tbit/s
Mylinking™ Network Packet Broker (NPB) ML-NPB-506048*10GE SFP+ plus 2*40GE QSFP, max. 560 Gbit/s
Mylinking™ Network Packet Broker (NPB) ML-NPB-486048*10GE SFP+, max. 480 Gbit/s, Funktion Plus
Mylinking™ Network Packet Broker (NPB) ML-NPB-481048*10GE SFP+, max. 480 Gbit/s
Mylinking™ Network Packet Broker (NPB) ML-NPB-2410P24*10GE SFP+, max. 240 Gbit/s, DPI-Funktion
Mylinking™ Network Packet Broker (NPB) ML-NPB-6400
48*10GE SFP+ plus 4*40GE/100GE QSFP28, max. 880 Gbit/s
Zeitpunkt der Veröffentlichung: 18. Okt. 2022
