超大规模媒体存储与计算的基础平台.pdfVIP

高性能计算技术 23 超大规模媒体存储与计算的基础平台  曹强 谢长生 华中科技大学 武汉430074 caoqiang@ 摘要： 当前信息技术和应用发展水平的迫切需要能够支持超大规模多媒体存储和计算的系统出 现，并对系统的容量、性能、扩展性、可用性等一系列功能提出巨大挑战。针对情况，在分析 现有多媒体存储系统的基础之上提出了一种超大规模媒体存储和计算的基础平台架构。然后针 对超大规模多媒体系统的性能指标和一般的优化方法。接着重点讨论了存储优化方法，通过获 取和分析针对超大规模多媒体系统的存取行为，从横向和纵向方面进行合理的数据布局优化提 高系统的性能。最后讨论两种保证超大规模多媒体存储和计算系统实现和高效运行的关键技 术，分别为面向大规模数据存储的分布式文件系统和基于存储对象的服务质量保证机制。 1. 应用需求 大约7PB的数据流，Youtube存储了31PB的流媒体数 据。Cisco公司预计：到2012年每个月网络上视频流 1.1应用背景 大约为5Exabytes（5000PB）。显然，Internet的迅猛 信息革命推动人类社会的不断进步，表现在 发展迫切需要建设超大规模媒体存储与计算平台以 各种个人和社会活动越来越离不开各种数字化信息 满足不断增长的用户需求。 的获取和应用。随着信息技术的飞速发展，现有的 除了Internet应用之外，很多应用部门也需要超 计算机系统具有更强的处理能力、更快的传输速度 大规模媒体存储与计算平台满足其业务需求。由美 和更大的存储容量，这种能力使得多媒体应用得到 国航空航天总局（NASA）提供的哈勃（Hubble） 不断普及和发展，而多媒体数据以其直观的表达形 太空望远镜拍摄宏伟的螺旋星系M81的单幅照片大 式，丰富的语义内涵和高效的处理能力受到更多欢 小为689Mbytes（其分辨率为29566×15200，4.49亿 迎。这种对于多媒体数据的应用发展又不断对于计 像素），而在哈勃太空望远镜服役的近20年时间里 算机系统的能力提出更新的挑战。突出表现为对于 拍摄了无数这样高分辨率的照片，这些照片数据无 超大规模媒体信息的高效处理、传输和存储要求。 疑对于星载存储系统还是地面数据处理和发布系统 网络流量测量公司Compete发布的最新数据显 都提出了挑战。另一个存在大规模媒体存储和计算 示，2009年7月份成为YouTube表现最好的一个月， 需求的是电视台或者电影制片企业的采编系统，无 美国访问人数从7830万人增长至8510万人，增长幅度 论对于前端拍摄还是现场直播而言，一部高清标准 近9%。网络调查公司ComScore发布的美国8月份在线 （分辨率为1920*1080的HDTV）画质的电影或者录 视频报告显示，整个8月，共有创纪录的1亿6100万 像无损压缩后需要大约20GB的存储容量，这还是最 美国人在线观看了视频。同样在8月有250亿段视频 终版本的数据量并不包括初期大量高清视频素材的 被播放，其中谷歌就占了100亿。在谷歌的这100亿 采编。一个直观的例子就是电视台使用10个高清摄 段视频中，有超过99%的是在YouTube贡献的。在 像机直播一场比赛，仅前端的数据采集量就是惊人 ComScore的报告中同时显示此月美国所有的网络用 的。同样，这些高清视频数据对于后端存储系统或 户中，有近82%的有过在线看视频的经历，平均观 者点播系统的性能和容量也产生了巨大的压力。 看时间到达9.7个