内存计算和列存储在商务智能中的应用分析.pdf

内存计算和列存储在商务智能中的应用分析

摘要：商务智能通过分析大量数据与信息产生对企业管理决策

有用的知识，对于企业有着重要意义。但是数据与信息的不断集

中与膨胀对计算机的存储和处理能力提出了挑战，因此内存计算和

列存储技术逐渐兴起并在实际中得到应用。本文简单介绍内存计算

和列存储的概念，并结合商务智能分析这两种技术所带来的影响以

及使用中需要注意的问题。

关键词：内存计算列存储商务智能

1内存计算概述

在2011年sap“全球技术研发者大会”上，“内存计算”这一名

词突然出现在我们的视野中，引起了广泛的关注。sap高调的推广

与宣传，使很多人误以为内存计算是由其提出的。其实不然，内存

计算的概念很早就被提出，并且一直有人在研究。除了sap的内存

技术外，相关产品还有sqllite、altibase、extremedb等。

所谓内存计算，就是使用内存数据库将大量的数据直接装载到内

存中，并进行计算。内存计算技术大大减少了从硬盘读写数据的时

间，从而使计算速度更快。内存计算技术融合了硬件与软件技术创

新。硬件创新包括具有多核架构和以tb计的内存容量的刀片服务

器，可实现大规模并行扩展。软件创新包括内存数据库，它采用了

为最大限度发挥内存计算技术的潜力而专门设计的行、列存储，并

行处理在数据库层进行，而不是我们所熟知的客户端-服务器架构

中的应用程序层。使用内存计算，在理想状态下可以使数据处理速

度提高1000倍以上。例如，农夫山泉一个销售表就有上亿条记录，

原本系统计算一次运费就要一天的时间，但使用了内存计算技术

后，可以做到数据的实时观测。内存计算对于内存的开销比传统方

式大得多，但是随着内存价格的不断下降，使该技术的广泛应用成

为可能。

使用内存计算需要注意以下问题：①可靠性。由于内存数据库所

有的数据都放在内存中，所以各种原因所引起的服务器宕机造成的

损失要远远超过传统的数据库。为了防止数据的丢失，在系统运行

时要做好日志记录，在每次数据提交时，将日志更新到硬盘，以便

出现数据丢失时能及时恢复。同时保证电源的持续供应和做好散热

工作。②临时内存的清理。在内存计算会产生大量的临时内存，这

些缓存信息对内存的占用不仅浪费存储空间还严重影响系统的运

行速度。因此，及时清理临时内存非常重要。③信息安全。大多数

病毒针对内存展开攻击，为了保证信息的安全，就需要有完善的数

据访问控制机制和加密机制作为保证。

我们说内存计算解决了从硬盘读写数据的瓶颈，更好体现多核

cpu的强大处理能力。

2列存储概述

数据的存储方式主要有行存储和列存储两种，其中行存储是指属

性在物理上是按行记录顺序存储；而列存储则是按列的顺序连续存

储，如图1所示。

列存储的实现方式主要有三种：①使用行存储模拟，保留存储管

理器和执行引擎。②修改存储管理器，但为了和并列，保留面向行

查询执行器部分。③修改存储管理器和查询执行引擎。

两种存储方式各有优点，如果对数据库经常进行整条记录的查

询，那么行存储的方式是很好的选择，因为该记录的所有信息都在

一起；相反，如果查找的是表中某个属性值或对某列属性进行计算，

采用列存储效率更高，不必读到不相关的属性。

因此列存储方式有两大显著优点：①提高查询属性列值的吞吐

量，减少i/o操作。表数据基于列存储，能够快速地定位到需要的

数据列，同时不会读取无关的列数据，减少无效磁盘读写操作。当

表有较多的数据列时，效果提升更加明显。②列存储有利于数据压

缩。相对于行存储，列存储更加适合数据压缩。因为数据列属性有

相同的数据类型，数据相似度较大；而行存储，属性是以记录方式

连续存储的，一条记录中各属性具有不同的数据类型，因此，很难

为不同的数据类型数据采用统一的压缩算法。然而，列存储不足之

处主要表现在将列重构成行和插入、删除数据效率比较低。所以列

存储适用于更新操作很少的环境中。

3内存计算和列存储在商务智能中的应用

商务智能（businessintelligence，bi）是通过运用数据仓库、

联机分析和数据挖掘技术处理和分析业务数据，解决商务活动中的

复杂问题，辅助管理者决策，从而改善企业的经营、管理能力的系

统。商务智能适用企业规模大、顾客规模大、产品线规模大、市场

规模大、信