浅析计算型存储技术的发展趋势.docx

?

?

于无声处听惊雷

浅析计算型存储技术的发展趋势

?

?

【摘要】计算型存储是一种具备计算型存储功能的架构，用于卸载主机处理或减少数据移动，是目前的热点之一。本文分析了计算型存储技术的一些发展动向，供大家参考。

1.什么是ComputationalStorage（计算型存储）？

2022年8月Gartner新鲜出炉了年度存储和数据保护炒作周期（HyperCycleForStorageandDataProtectionTechnologies,2022）报告，ComputationalStorage（计算型存储）位列炒作热点之一。按照SNIA的定义，计算型存储是一种具备计算型存储功能（ComputationalStorageFunction）的架构，用于卸载主机处理或减少数据移动。

这种架构将计算资源（在传统的计算和内存架构之外）直接与存储或在主机和存储之间进行整合，使应用性能和/或基础设施效率得到改善。计算型存储出现的目标在于启用并行计算，从而减轻对现有计算、内存、存储和I/O的约束。

按照具体的技术形态，ComputationalStorage（计算型存储）又被分为三个大的类别：CSD（ComputationalStorageDevice）、CSP（ComputationalStorageProcessor）和CSA（ComputationalStorageArray）。

2.offload（卸载）是计算型存储设计思想的精髓

谈到计算型存储就不能不谈OracleExadata数据库一体机。2008年研发的Exadata是针对Oracle数据库进行优化的计算平台，用于解决传统数据库受I/O瓶颈引发的性能问题。在解决思路上，Exadata采用了颠覆性的设计思想-“offload（卸载）”，即将数据库系统中的数据处理行为从计算节点（数据库服务器）卸载到存储节点（存储服务器）进行并行处理，并且仅有计算后的最终结果会被返还给计算节点。这种设计方式大大规避了计算、存储和网络等硬件设备的I/O瓶颈对数据库性能造成的局限。

数年前笔者曾做过一次ExadataX5和国产数据库一体机之间的性能对比测试。OLTP场景下二者之间的差异主要体现为硬件配置差异带来的差距，换句话Exadata在OLTP场景下的加速效应可以忽略；而在OLAP场景下，Exadata“卸载”的设计带来2-3倍以上的巨大性能增益，诸如全库扫描体现出的性能已不再受到IB交换机网络带宽的限制。

Exadata“卸载”的设计思想可能是计算型存储早期的雏形，但是由于只能在Oracle数据库场景下使用，注定这项技术在市场上的推广受到极大的局限。

3.DPU的出现让普适型计算型存储成为可能

近几年DPU（Dataprocessingunit）概念异常火爆，但是参与的企业多半隶属半导体行业，如：Intel、Marvel、Samsung等，所出产品也多属于CSD或CSP的范畴。初创公司Fungible在自研DPU芯片同时，开发了一套分离式存储平台（Disaggregatedstorageplatform），其设计核心理念和Exadata如出一撤，就是将数据应用的数据处理环节“卸载”到存储端进行执行，并通过专用的DPU芯片实现加速。因此，Fungible存储操作系统的软件模块除了包括常见的存储（存储协议、EC、消重、压缩、复制等）、网络、安全等功能以外，还增加了数据分析的类别：数据库、大数据、Serverless等富数据应用的协同模块被包括其中。应用运行在计算型存储平台，据称，“在DPU上使用单线程，将X86服务器上的MySQL查询与基于DPU的存储集群进行比较，查询时间提高了75倍；使用正则表达式匹配，拿软件实现与DPU加速操作对比，吞吐量提高了27倍。”

4.HPC应用正成为计算型存储技术被最早的实践场景

除了作为供应侧的厂商在进行计算型存储的创新努力以外，作为需求侧的最终用户也在进行这样的尝试。美国阿拉莫斯国家实验室(LANL)是世界上最大的科学和技术研究机构之一，它在国家安全、太空探索、可再生能源、医药、纳米技术和超级计算机等多个学科领域开展科学研究。阿拉莫斯的工程人员预计他们的Trinity超算系统在2023年将达到10PBDRAM、100PBFlash存储和0.5EB磁盘存储的规模。在不断发展中的HPC环境下，数据存储环境面临巨大的挑战，譬如：

(1).面对CPU频率