服务器&存储
2008-05-07 10:23    文章来源：网界网

如何精简企业主存储上的数据

作者：George Crump

本文作者为George Crump，他是Storage Switzerland 及 Storage Switzerland Events的创始人兼主席。

在过去几年，数据精简技术，如压缩和最近的重复数据删除，开始流行起来，尤其是在备份和存档中使用。这一趋势是否会延续到主存储？

在备份中，特别是有大量的冗余数据时，有一个广泛采用的数据精简技术——重复数据删除。短短几年中，在数据中心里，重复数据删除已经从一个晦涩的术语变成了一个人所共知的词。重复数据删除消除多余部分数据的能力为备份储存和某些类型的档案存储带来了很大的好处。在备份数据方面，假设每周进行一次全备份， 120倍的存储效率并不鲜见。

主存储是不同的

不幸的是，移动重复数据删除到主存储并不是转移其位置这么简单。下面的提纲是主存储规划重复数据删除的特别要求：1、主存储性能敏感。主存储是积极的，如因执行重复数据删除而影响了生产环境的性能表现，是不能接受的。重复数据删除技术必须是高效快速的，它不能影响性能，或者它必须这样做出来的波段上的文件不会立即活跃。

理想状态是：在近线存储产生数据备份时进行重复数据删除，消除了任何可能的性能影响。这种技术重复数据删除和压缩水平不同，所提供的效率也不同——重复删除的水平越高，数据读回时对性能的影响越大。如果能有一个足够快的内置系统——既能减少数据，又不不影响性能——是很好，但这种技术现在还不存在。

2、主存储是独一无二的。缩减主存储的另外一个挑战是，数据是独一无二的。这和备份的情况完全不同。备份，特别是每天或每周一次的全备份，有较多数据冗余。而生产数据，尽管可能会有一些重复——比如同一个数据库的"额外"副本，但大多数情况下，数据冗余并不像备份或归档那么多。

随着基于磁盘的归档和磁盘备份变得更加普遍，主存储的冗余数据更少了。过去，保存数据库或文件的额外副本的价值是 "以防万一".现在这些副本，可以很容易地发送到磁盘归档或磁盘备份设备当中。（这是一件好事！ ）

注意：当前用户期望看到的存储效率提升20倍或更多，在主存储就不要想了。一个更现实的目标可能是3倍，最多5倍。

3、主存储已经压缩过。此外，大部分的主存储的数据已经是预压缩格式。文件，如图片，媒体文件，和特定行业的数据集，是已经预先压缩过的。即使最新版本的流行的office应用也是预先压缩的。这些预压缩文件，往往代表了企业增长最快的最大的数据集。

为应对生产数据的"独特性"和"预压缩"，一个成功的主存储精简技术需要"挖的更深" .内置的数据精简在备份和存档有明显的优势，但生产存储中，带外管理会更有效。

在没有数据精简时间压力时，可以花时间研究复杂的复合文档，并从数以百万计的文件中找出相似的一个文档。这种方式可以花时间了解具体的格式——如J PG格式是如何存储的，如何嵌入到另一个文件的（例如，P o werPoint简报）；数据精简如何对原始数据及其嵌入状态进行最佳优化的。

4、主存储越来越便宜。重复数据删除的最后一项挑战，就是不断降低的磁盘价格。最后终结HSM 和ILM的可能会是主存储数据精简的落实。随着顶级存储制造商开始生产1T的SATA硬盘，购买大容量的存储空间越来越容易。

从精简主存储获益

首先，精简主存储的价值体现，一个前提就是：正在处理中的数据量一定要大，可能得大于20 T ，才能看到一个不错的投资回报率。举例来说，将50T减少到10T ，比从10T减少到2T更有吸引力。

第二，不仅仅是物理存储成本，其他因素也都必须要考虑到。通过提高存储效率，能源和空间效率将会减少。许多数据中心最大的挑战就是空间和能源问题。

此外，特别是一个带外解决方案，如果可以选择带外读数据，对备份存储和网络带宽利用率可能都有显着的积极影响。

存储系统大量应用压缩或是继续进行数据优化应在备份窗口以及备份存储系统上确定一个可测量的缩减。数据还可以发送到基于磁盘的可以消除重复发生的压缩数据（多个每周完整备份）的重复数据删除技术上。以这种方式进行数据压缩使数据变得更加便携，更有利于在在WAN发送。

1  2  
责任编辑：刘欣灵

文章评论

发表评论
查看全部
评论加载中...请稍后

精彩专题