简介
本节介绍SmartDedupe&SmartCompression特性的背景、定义及目的和受益。
背景
数据是一个企业的核心资产。随着业务的不断增长,企业的业务数据也呈爆炸式的增长,需要存储的数据越来越多。随着数据量的增大,企业可能面临如下问题:
- 业务数据中可能存在大量的冗余数据。冗余数据的增长势必导致购买存储设备的费用大幅增长。
- 存储设备的增加,带来了维护管理的复杂性。同时,为了维持存储设备的正常运行,需要投入大量的资金用于建设机房环境、提供电力和冷却系统。
冗余数据带来的价值远远小于企业用于维护存储设备的成本。因此,在保证信息不丢失,不影响业务数据准确性的前提下,缩减冗余数据量,减少冗余数据占用的存储空间成为系统管理员关注的问题。此外,对于全闪存阵列,由于SSD盘存在擦写次数及寿命的问题,所以在业务运行过程中应该减少对SSD盘的写入数据量和写入次数。重复数据删除和数据压缩是存储业界常用的数据缩减技术,旨在减少冗余数据占用的存储空间,提高存储系统的传输、处理和存储效率。同时,减少数据写入SSD盘的次数,减少对SSD盘的磨损,提高SSD盘的使用寿命。
定义
华为技术有限公司开发的SmartDedupe&SmartCompression特性包含重复数据删除和数据压缩两种功能,分别叫做智能数据重删特性和智能数据压缩特性。
- 智能数据重删特性(SmartDedupe)是一种数据缩减技术,通过删除存储系统中的冗余数据块,减少数据占用的物理存储容量,从而满足日益增长的数据存储需求。存储系统支持的是在线重复数据删除,即只对新写入的数据进行重删处理。
新写入数据是指对文件系统开启重复数据删除功能后写入的数据。
V500R007C50及后续版本的存储系统,支持配置SmartTier迁移任务的同时启用后台重复数据删除。当有数据进行迁移时,对迁移的数据进行重复数据删除。具体配置操作请参见对应产品型号的《SmartTier特性指南(文件业务)》。
- 智能数据压缩特性(SmartCompression)是指在不丢失信息的前提下,通过重新组织数据排布,缩减数据量以减少存储空间,提高其传输、存储和处理效率。存储系统支持的是在线压缩,即只对新写入的数据进行压缩处理。
新写入数据是指对文件系统开启数据压缩功能后写入的数据。
V500R007C50及后续版本的存储系统,支持配置SmartTier迁移任务的同时启用后台数据压缩。当有数据进行迁移时,对迁移的数据进行压缩处理。具体配置操作请参见对应产品型号的《SmartTier特性指南(文件业务)》。
V500R007C20及之前版本的存储系统,只有配置了SmartThin特性的文件系统才支持SmartDedupe&SmartCompression特性。
当某个文件系统同时开启重复数据删除和数据压缩功能时,存储系统会对数据先进行重删,再进行压缩后才将数据写入硬盘。
目的和受益
SmartDedupe&SmartCompression带来的目的和受益如表1-1所示。