A eliminación da duplicación de datos é unha tecnoloxía de almacenamento popular e popular que optimiza a capacidade de almacenamento. Elimina os datos redundantes eliminando os datos duplicados do conxunto de datos, deixando só unha copia. Como se mostra na figura seguinte. Esta tecnoloxía pode reducir moito a necesidade de almacenamento físico. espazo para satisfacer a crecente demanda de almacenamento de datos. A tecnoloxía de duplicación pode traer moitos beneficios prácticos, incluíndo principalmente os seguintes aspectos:
| (1) | Cumprir os requisitos de ROI (Retorno do investimento)/TCO (Custo total de propiedade); |
| (2) | O rápido crecemento dos datos pódese controlar de forma eficaz; |
| (3) | Aumentar o espazo de almacenamento efectivo e mellorar a eficiencia do almacenamento; |
| (4) | Aforrar o custo total de almacenamento e o custo de xestión; |
| (5) | Garda o ancho de banda da rede de transmisión de datos; |
| (6) | Aforra custos de operación e mantemento, como espazo, fonte de enerxía e refrixeración. |
A tecnoloxía de deduplicación é amplamente utilizada nos sistemas de copia de seguridade e arquivo de datos, porque hai moitos datos duplicados despois de varias copias de seguridade de datos, o que é moi axeitado para esta tecnoloxía. datos preto da liña e sistemas de almacenamento de datos fóra de liña. Pódese implementar en sistemas de ficheiros, xestores de volume, NAS e sans.Dedupe tamén se pode usar para a recuperación de datos ante desastres, a transmisión e a sincronización de datos, xa que se pode usar unha tecnoloxía de compresión de datos para o empaquetado de datos. A tecnoloxía Dedupe pode axudar a moitas aplicacións a reducir almacenamento de datos, aforrar ancho de banda da rede, mellorar a eficiencia do almacenamento, reducir a xanela de copia de seguridade e aforrar custos.
A deduplicación ten dúas dimensións principais: ratios de deduplicación e rendemento. O rendemento da deduplicación depende da tecnoloxía de implementación específica, mentres que a taxa de deduplicación está determinada polas características dos propios datos e os patróns de aplicación, como se mostra na seguinte táboa. Os provedores de almacenamento informan actualmente de taxas de deduplicación que oscilan de 20:1 a 500:1.
| Alta taxa de deduplicación | Baixa taxa de deduplicación |
| Datos creados polo usuario | Datos do mundo natural |
| Baixa taxa de cambio de datos | Alta taxa de cambio de datos |
| Datos de referencia, datos inactivos | Datos activos |
| Aplicación de baixa taxa de cambio de datos | Aplicación de alta taxa de cambio de datos |
| Copia de seguridade de datos completa | Copia de seguridade de datos incremental |
| Almacenamento de datos a longo prazo | Almacenamento de datos a curto prazo |
| Amplia gama de aplicacións de datos | Pequena gama de aplicacións de datos |
| Procesamento continuo de datos empresariales | Tratamento xeral de datos empresariais |
| Pequena segmentación de datos | Segmentación de big data |
| Segmentación de datos alongada | Segmentación de datos de lonxitude fixa |
| Contido de datos percibido | Contido de datos descoñecido |
| Desduplicación de datos de tempo | Desduplicación de datos espaciais |
Desduplicación de puntos de implementación
Hai que ter en conta varios factores ao desenvolver ou aplicar a tecnoloxía Dedupe, xa que estes factores afectan directamente ao seu rendemento e eficacia.
| (1) | Que | Que datos están desponderados? |
| (2) | Cando | Cando se eliminará o peso? |
| (3) | Onde | Onde está a eliminación de peso? |
| (4) | Como | Como reducir o peso? |
Tecnoloxía de clave de deduplicación
O proceso de deduplicación do sistema de almacenamento en xeral é o seguinte: en primeiro lugar, o ficheiro de datos divídese nun conxunto de datos, para que cada bloque de datos calcule a pegada dixital e, a continuación, baseándose nas palabras clave de busca Hash de impresión dixital, a coincidencia indica os datos para o duplicado. bloques de datos, só almacena o número de índice do bloque de datos, se non, significa que o bloque de datos é a única peza dun novo bloque de almacenamento de datos e crea metainformación relevante. Así, un ficheiro físico no sistema de almacenamento corresponde a unha representación lóxica dun conxunto de metadatos FP. Ao ler o ficheiro, lea primeiro o ficheiro lóxico, despois, segundo a secuencia FP, saque o bloque de datos correspondente do sistema de almacenamento, restaure a copia do ficheiro físico. Pode véase do proceso anterior que as tecnoloxías clave de Dedupe inclúen principalmente a segmentación de bloques de datos de ficheiros, o cálculo de pegadas dixitais de bloques de datos e a recuperación de bloques de datos.
(1) Segmentación de bloques de datos de ficheiros
(2) Cálculo de pegadas dixitais do bloque de datos
(3) Recuperación de bloques de datos
Para atopar estes modelos recomendados para iniciar a súa deduplicación de paquetes de rede:
Mylinking™ Network Packet Broker (NPB) ML-NPB-640048*10GE SFP+ máis 4*40GE/100GE QSFP28, máximo 880 Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-56606*40GE/100GE QSFP28 máis 48*10GE/25GE SFP28, máximo 1,8 Tbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-506048*10GE SFP+ máis 2*40GE QSFP, máximo 560 Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-486048*10GE SFP+, máximo 480 Gbps, Function Plus
Mylinking™ Network Packet Broker (NPB) ML-NPB-481048*10GE SFP+, máximo 480 Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-2410P24*10GE SFP+, 240 Gbps máximo, función DPI
Mylinking™ Network Packet Broker (NPB) ML-NPB-6400
48*10GE SFP+ máis 4*40GE/100GE QSFP28, máximo 880 Gbps
Hora de publicación: 18-Oct-2022
