面向多用户去重的备份服务质量研究.pdf

重庆大学硕士学位论文 中文摘要 摘 要 根据IDC 预测，2020 年全球数据存储需求将会达到44ZB 的规模。如今，每 一天的每一分钟，会有2.04 亿封邮件发布，Google 会产生400 万条搜索，Facebook 会有246 万Bit 的内容信息分享。对这些数据的存储，企业需要不断购置大量的存 储设备来应对不断增长的存储需求。但因为设备的采购预算、数据的管理成本、 能耗、占用空间等一系列问题的存在，企业不能单纯的从提高存储容量上解决问 题。业界由此提出重复数据删除技术，该技术被广泛运用于备份系统中。在多用 户备份系统中，由于用户的偏好和需求不同，不同偏好和需求的用户享受不同的 系统服务，用户也因此被划分为不同的等级，即等级化服务。但不同用户间存在 共享数据块，而多个用户间的共享数据块只需要一个用户读取或者写入。如何将 共享数据块的读取和写入开销均摊到各个用户来保障系统的等级化服务是本文需 要解决的问题。 在多用户去重下的备份服务质量研究中，现有的高性能等级化服务质量研究 方案主要从数据备份保障等级化服务。具体包含两个方面：系统资源调整和共享 数据处理。但该方案不能实时调整系统资源，同时也不能将用户间共享数据块的 处理开销均摊到各个用户，即该方案不能有效地保障系统的等级化服务。 针对现有等级化服务保障方案的不足，本文在多用户数据备份时提出基于数 据分类的共享数据块处理方案DCSDP ，该方案对不同类型共享数据块使用不同的 处理方法，可更精确的将共享数据块处理开销摊销到各个用户。同时还可以减少 指纹检索开销，提高系统备份性能。在多用户数据恢复时，本文提出基于滑动窗 口的数据块碎片预测技术和高等级用户优先读取策略。一方面可以保障多用户恢 复时的等级化服务，另一方面可在一定程度上减少数据块碎片对恢复性能的影响。 实验结果表明，本文提出基于数据分类的共享数据块处理方案比现有的高性能等 级化服务质量方案在整体备份性能上提高26.63%，系统的等级化服务更明显；同 等级用户间的相对服务误差下降3.71%，更能保障同等级用户间的服务质量。在多 用户数据恢复时，相比没有共享数据块处理和数据碎片处理，系统整体性能提高 16.6%，系统的等级化更明显，同等级用户服务质量误差下降4.99% ，更能保障同 等级用户服务质量。 关键词：数据去重；共享数据块；等级化服务；数据碎片；误差控制 I 重庆大学硕士学位论文 英文摘要 Abstract According to IDC, global data storage demand in 2020 will reach 44ZB.Today, every minute of every day, 204 million emails are published, 4 million searches are generated by Google, and 2.46 million Bits of content are shared by Facebook. As a result, companies need to continually purchase large amounts of storage to meet growing storage needs. However, due to the existence of some problems such as equipment procurement budget, data management cost, energy consumption and the space occupied, enterprises can’t simply solve the problem by improving storage capac