基于iSCSI重复数据删除系统设计与实现.doc

摘 要 信息化的快速发展致使数据量与日俱增，简单的存储这些数据对企业而言并不是最佳的解决方案——存储需要投入成本，大量的文件最终将会加重企业数据备份以及灾难恢复系统的负担。企业与其不断的扩充磁盘容量来应对数据量的增加，还不如转向数据删除技术，以存储更少的数据。近年来新兴的重复数据删除技术就是减少存储空间的有效方式之一。 通过对重复数据删除技术的深入研究，提出了一种基于iSCSI平台的重复数据删除存储系统。该系统实现了LBA映射、指纹计算、指纹检索和指纹索引表管理等功能。通过LBA映射表的组织和管理，实现了重复数据删除前后数据块逻辑地址的转化和对应关系；指纹计算模块中采用基于散列的SHA-1算法，实现了将4KB数据块转化为160位摘要值的过程；指纹检索和指纹索引表的管理采用三级索引结构，实现了指纹的精确定位和快速查找。为了弥补重复数据删除带来的系统性能的损失，针对重复数据删除功能中指纹检索性能瓶颈进行了优化，提出了基于布鲁姆过滤的指纹检索算法，大量的指纹检索请求被过滤掉，从而提高检索效率。 对系统性能、重复数据删除压缩比和检索过滤算法的效果进行了相关测试。分别测试了标准iSCSI和加入重复数据删除模块后的iSCSI系统的性能，结果表明，加入重复数据删除之后，虽然系统性能有所下降，但是下降的幅度还是预期的范围之内；对重复数据删除压缩比进行了测试，测试结果表明压缩效果的好坏与应用环境密切相关，当应用于那些信息重复度较高的环境如备份存储系统、归档存储系统等时，具有较好的压缩效果；最后对检索过滤算法进行了测试，测试出的过滤率和误判率都可以达到预期效果。 关键词：重复数据删除，指纹检索优化，存储性能 Abstract Resulted in the rapid development of information technology increasing the amount of data, simple storage of these data to enterprises is not the best solution - storage needs input costs, a large number of documents that will ultimately increase the enterprise data backup and disaster recovery burden. Compared to expand disk capacity to respond to the increase in the amount of data, companies might as well turn to remove the technical data to store less data.In recent years, new data deduplication technology is one of effective way to reduce storage space. Data de-duplication technology by further research, a platform based on iSCSI deduplication storage systems. This system has LBA mapping, fingerprint calculation, fingerprints and fingerprint search index table management. LBA mapping table by the organization and management, and data de-duplication before data blocks the conversion of logical address and correspondence; fingerprint calculation module based on SHA-1 hash algorithm, implemented into the 4KB block 160 Summary value of the process; fingerprints and fingerprint index table to retrieve the management of all three index structure is used to achieve precise positioning and fast fingerprint search. To make up for deduplication performance caused the lo