重复数据删除主流技术介绍

查看评论  发表评论2008年07月10日 13:47分         作者：     来源：

 “重复数据删除”这个词是根据英文“De-Duplication”翻译过来的，更直白一点说就是消除副本。ESG将重复数据删除定义为删除或擦去冗余文件、字节或数据块的流程，确保只有“独有”的数据存储在磁盘上。现在关于这项技术，不同的厂商有不同的叫法，除了叫重复数据删除，还有别的名称，比如容量优化、单一实例存储（飞康），先进的单一实例存储（NetApp）。不管命名为何，目的只有一个，即除去重复的数据，只保留更改过的数据，节省磁盘空间，从而节约成本，延长数据保留的时间。
 
 下面是对各厂商重复数据删除的简单介绍：
 
 飞康：
 
 飞康的重复数据删除存储软件名为“Single Instance Repository(SIR)”。SIR提供一个基于策略的冗余数据删除（RDE）引擎，只存储数据文件或数据块的单一实例（single instance）。

 SEPATON：

 SEPATON 的DeltaStor技术使用 delta 冗余删除技术，使用这种技术，DeltaStor 软件可以搜索任意数量的数据对象版本，以找出重复的数据序列，然后用一个副本的指针替代重复数据，重复数据序列中只有一个实例真正存储在磁盘上。SEPATON 称DeltaStor可以以 25:1 的比例消除典型混合业务数据中的重复数据，对于某些电子邮件应用则可以达到 60:1。

 Data Domain：
 
 Data Domain的重复数据删除技术称作容量优化存储（Capacity Optimized Storage， COS）技术。COS是采用一种压缩算法，任何重复的数据或是重复的模式在进行多次备份时，只对其进行一次备份。这样可以较好提高备份速率和数据压缩比。Data Domain称可以实现近乎20:1的压缩比。目前，Data Domain已经推出了三代DDX阵列。
 
 EMC：

 EMC称Avamar重复数据消除和全局单实例存储 (SIS) 技术可确保备份数据段在全局范围内仅存储一次，还可以有效地将移动和恢复的数据量缩减300倍，同时还可以实现每日完整备份和快速恢复。
 
 Diligent Technologies：

 Diligent的 ProtecTier技术将数据分成块，并且采用自有的算法决定给定的数据块是否与其它的相似。然后与相似块中的数据进行逐字节的比较，以判断该数据块是否已经被备份。HDS的虚拟磁带库解决方案采用的就是Diligent的ProtecTIER VT with HyperFactor重复数据删除技术，HDS声称VTL 解决方案在保证100%数据完整性的同时消除了冗余数据，从根本上将物理存储需求降至原来的二十五分之一甚至更低。
 
 昆腾：
 
 昆腾的重复数据删除技术是由澳大利亚开发的。数据重复删除技术按自然边界把数据拆分为非常细粒度的子块元素。昆腾称，利用数据重复删除技术，1TB的备份数据可根据备份数据的共性，存储为300-700GB不等。在这种情形下，每月实现10:1到50:1的备份比率是完全可能的。
 
 ExaGrid Systems：
 
 ExaGrid Systems的InfiniteFiler就是一个基于内容识别的重复删除设备，当备份数据时，它采用CommVault Galaxy 和Symantec Backup Exec等通用的备份应用技术从源系统中识别文件。完成备份后，它找出已经被多次备份的文件，生成增量文件（deltas）。多个 InfiniteFilers合成一个网格，支持高达30TB的备份数据。
 
 赛门铁克：

 赛门铁克NetBackup PureDisk远程办公室备份软件，具有全局单一实例存储的基于磁盘的安全数据保护将备份所消耗的存储和网络降低10倍到50倍。PureDisk能将备份的存储和网络消耗降低10至50倍。
  
   

关键字：