- 1、本文档共6页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
内存计算和列存储在商务智能中的应用分析
摘要:商务智能通过分析大量数据与信息产生对企业管理决策
有用的知识,对于企业有着重要意义。但是数据与信息的不断集
中与膨胀对计算机的存储和处理能力提出了挑战,因此内存计算和
列存储技术逐渐兴起并在实际中得到应用。本文简单介绍内存计算
和列存储的概念,并结合商务智能分析这两种技术所带来的影响以
及使用中需要注意的问题。
关键词:内存计算列存储商务智能
1内存计算概述
在2011年sap“全球技术研发者大会”上,“内存计算”这一名
词突然出现在我们的视野中,引起了广泛的关注。sap高调的推广
与宣传,使很多人误以为内存计算是由其提出的。其实不然,内存
计算的概念很早就被提出,并且一直有人在研究。除了sap的内存
技术外,相关产品还有sqllite、altibase、extremedb等。
所谓内存计算,就是使用内存数据库将大量的数据直接装载到内
存中,并进行计算。内存计算技术大大减少了从硬盘读写数据的时
间,从而使计算速度更快。内存计算技术融合了硬件与软件技术创
新。硬件创新包括具有多核架构和以tb计的内存容量的刀片服务
器,可实现大规模并行扩展。软件创新包括内存数据库,它采用了
为最大限度发挥内存计算技术的潜力而专门设计的行、列存储,并
行处理在数据库层进行,而不是我们所熟知的客户端-服务器架构
中的应用程序层。使用内存计算,在理想状态下可以使数据处理速
度提高1000倍以上。例如,农夫山泉一个销售表就有上亿条记录,
原本系统计算一次运费就要一天的时间,但使用了内存计算技术
后,可以做到数据的实时观测。内存计算对于内存的开销比传统方
式大得多,但是随着内存价格的不断下降,使该技术的广泛应用成
为可能。
使用内存计算需要注意以下问题:①可靠性。由于内存数据库所
有的数据都放在内存中,所以各种原因所引起的服务器宕机造成的
损失要远远超过传统的数据库。为了防止数据的丢失,在系统运行
时要做好日志记录,在每次数据提交时,将日志更新到硬盘,以便
出现数据丢失时能及时恢复。同时保证电源的持续供应和做好散热
工作。②临时内存的清理。在内存计算会产生大量的临时内存,这
些缓存信息对内存的占用不仅浪费存储空间还严重影响系统的运
行速度。因此,及时清理临时内存非常重要。③信息安全。大多数
病毒针对内存展开攻击,为了保证信息的安全,就需要有完善的数
据访问控制机制和加密机制作为保证。
我们说内存计算解决了从硬盘读写数据的瓶颈,更好体现多核
cpu的强大处理能力。
2列存储概述
数据的存储方式主要有行存储和列存储两种,其中行存储是指属
性在物理上是按行记录顺序存储;而列存储则是按列的顺序连续存
储,如图1所示。
列存储的实现方式主要有三种:①使用行存储模拟,保留存储管
理器和执行引擎。②修改存储管理器,但为了和并列,保留面向行
查询执行器部分。③修改存储管理器和查询执行引擎。
两种存储方式各有优点,如果对数据库经常进行整条记录的查
询,那么行存储的方式是很好的选择,因为该记录的所有信息都在
一起;相反,如果查找的是表中某个属性值或对某列属性进行计算,
采用列存储效率更高,不必读到不相关的属性。
因此列存储方式有两大显著优点:①提高查询属性列值的吞吐
量,减少i/o操作。表数据基于列存储,能够快速地定位到需要的
数据列,同时不会读取无关的列数据,减少无效磁盘读写操作。当
表有较多的数据列时,效果提升更加明显。②列存储有利于数据压
缩。相对于行存储,列存储更加适合数据压缩。因为数据列属性有
相同的数据类型,数据相似度较大;而行存储,属性是以记录方式
连续存储的,一条记录中各属性具有不同的数据类型,因此,很难
为不同的数据类型数据采用统一的压缩算法。然而,列存储不足之
处主要表现在将列重构成行和插入、删除数据效率比较低。所以列
存储适用于更新操作很少的环境中。
3内存计算和列存储在商务智能中的应用
商务智能(businessintelligence,bi)是通过运用数据仓库、
联机分析和数据挖掘技术处理和分析业务数据,解决商务活动中的
复杂问题,辅助管理者决策,从而改善企业的经营、管理能力的系
统。商务智能适用企业规模大、顾客规模大、产品线规模大、市场
规模大、信
您可能关注的文档
- 学士学位英语作文范文.pdf
- 【部编版】七年级上册语文:第一单元测试卷教案.pdf
- 室内毕业设计题目大全.pdf
- 历年专八作文真题.pdf
- 机械手设计说明书.pdf
- 国标洁净等级对应的国际标准.pdf
- 幸福源于奋斗演讲稿(通用5篇).pdf
- 湿法烟气脱硫设计及设备选型手册.pdf
- 初一生物期中考试卷(附答案).pdf
- 升华法焦性没食子酸静电吸附回收装置.pdf
- 贵州省黔东南苗族侗族自治州(新版)2024小学语文部编版小升初摸底(拓展卷)完整试卷(含答案).docx
- 江西省宜春市(新版)2024小学语文苏教版小升初考试(巩固卷)完整试卷(含答案).docx
- 河南省洛阳市(新版)2024小学语文部编版小升初核心能力评测(冲刺卷)完整试卷(含答案).docx
- 河南省三门峡市(新版)2024小学语文统编版(五四制)小升初考试(拓展卷)完整试卷(含答案).docx
- 江西省上饶市(新版)2024小学语文统编版(五四制)小升初测试(冲刺卷)完整试卷(含答案).docx
- 甘肃省兰州市(新版)2024小学语文部编版小升初核心能力评测(冲刺卷)完整试卷(含答案).docx
- 内蒙古通辽市(新版)2024小学语文人教版小升初真题(预测卷)完整试卷(含答案).docx
- 山西省大同市(新版)2024小学语文统编版小升初核心能力评测(拓展卷)完整试卷(含答案).docx
- 新疆博尔塔拉蒙古自治州(新版)2024小学语文人教版小升初质量检测(预测卷)完整试卷(含答案).docx
- 四川省眉山市(新版)2024小学语文统编版(五四制)小升初核心能力评测(拓展卷)完整试卷(含答案).docx
文档评论(0)