- 1、本文档共11页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
大数据研究综述
摘要 :从大数据基本理论,大数据存储与分析处理技术和大数据应用研究三个角度说明当前研究热点,重点比较当前大数据处理工具的优缺点,并深入归纳总结了基于数据存储大数据处理技术,对未来研究进行展望。
关键词:大数据,综述,数据处理,数据挖掘
引言
现代社会提到大数据大家都知道这是近几年才形成的对于数据相关的新名词,在1980年,,著名未来学家阿尔文·托夫勒便在 《第三次浪潮》一书中,将大数据热情地赞颂为“第三次浪潮的 华彩乐章”。在 20 世纪 80 年代我国已经有一些专家学者谈到 了海量数据的加工和管理,但是由于计算机技术和网络技术的 限制大数据未能引起足够的重视,它蕴藏的巨大信息资源也暂 时隐藏了起来。随着云计算技术的发展,互联网的应用越来越 广泛,以微博和博客为代表的新型社交网络的出现和快速发 展,以及以智能手机、平板电脑为代表的新型移动设备的出现, 计算机应用产生的数据量呈现了爆炸性增长的趋势。2012年末出版的《大数据时代》的作者英国牛津大学网络学院互联网 研究所治理与监管专业教授维克托·尔耶·舍恩伯格在书的 引言中说,大数据正在改变人们的生活以及理解世界的方式, 而更多的改变正蓄势待发。美国总统奥巴马的成功竞选及连 任的背后都有大数据挖掘的支撑,美国政府认为,大数据是 “未来的新石油”,并将对大数据的研究上升为国家意志,这对 未来的科技与经济发展必将带来深远影响[1]。如今,大数据 已成为一项业务上优先考虑的工作任务,因为它能够对全球整 合经济时代的商务产生深远的影响。大数据的应用范围如此 广泛,与大数据相关的很多问题都引起了专家和学者的重视。 大数据最基本的问题-大数据的定义目前还没有一个统一的定论,但大数据作为一种基础性资源需要被处理才能显现其 潜在的价值,那么如何更好地处理大数据这种基础性资源就显 得特别重要,因为这些问题都关系到大数据核心价值的体现。 为此,本文从大数据若干个版本的概念出发,调查分析了大数 据的研究和应用现状,重点分析了当前主流的大数据处理工具 和技术,最后预测了大数据未来的几个研究和发展方向。
大数据的概念
从学术上来讲,大数据一次最贴切的概念最早出现在2008《Nature》杂志所设立的“Big Data”专刊中,该专刊所发表的文章分别从互联网,数据管理及生物医药信息等角度介绍大数据所带来的机遇与挑战。2008 年《Science》杂志出版的 专刊中,大数据被定义为“代表着人类认知过程的进步,数据 集的规模是无法在可容忍的时间内用目前的技术、方法和理论 去获取、管理、处理的数据”[2]。比较有影响力的 Gartner 公司 也给出了大数据的定义[3],大数据是高容量、高生成速率、种 类繁多的信息价值,同时需要新的处理形式去确保判断的作 出、洞察力的发现和处理的优化。这种定义不仅是数据规模 大,更重要的是如何从这些动态快速生成的数据流或数据块中获取有用的具有时效性价值的信息,但是这些数据类型众多, 结构化、半结构化、非结构化的数据对已有的数据处理模式带 来了巨大的挑战,其中也体现了大数据在 3V 基础上发展的4V定义。4V定义即 volume,variety,velocity,value,关于第 4个V的说法并不统一,国际数据公司( International Data Corporation, IDC) 认为大数据还应当具有价值性( value) [4],大数据的价值 往往呈现出稀疏性的特点; 而 IBM 认为大数据必然具有真实 性( veracity) [5],这样有利于建立一种信任机制,有利于领导者 的决策。百度百科对大数据的定义是: 大数据( big data) ,或称 巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主 流软件工具,在合理时间内达到撷取、管理、处理并整理成为帮 助企业经营决策更积极目的的资讯。大数据的科学家 Rauser 提到一个简单的定义: 大数据就是超过了任何一个计算机处理 能力的庞大数据量。
大数据的研究与应用现状
虽然大数据的概念没有一个统一的定论,但这对于大数据 的研究而言并不是最重要的,如何使用大数据才是关键。研究 大数据其实也就是为了更好地应用大数据,所以国内外对大数 据的研究与应用都相当重视。事实上,大数据的研究与应用已 经在互联网、商业智能、咨询与服务以及医疗服务、零售业、金 融业、通信等行业显现,并产生了巨大的社会价值和产业空间。 来自麦肯锡 2012 年大数据报告中的一组数据显示,大数据产 业为美国医疗系统带来每年 3000 亿美元的收益; 为欧洲公共 管理部门带来 2500 亿欧元的收益; 为零售业增加 60% 的净利 润; 为制造业减少 50% 的产品研发等成本。而 Canner 认为, 2015 年超过 85% 的财富
您可能关注的文档
- 大肠杆菌高效表达重组蛋白策略.doc
- 大华视频监控解决方案.doc
- 大气中颗粒物的测定.doc
- 大型地下室机电管线综合的BIM技术应用.doc
- 大学生创业融资的现状及问题分析论文.doc
- 大邮件营销案例:揭示最佳用户体验技巧.doc
- 带电粒子在磁场中轨迹和两种方式.doc
- 当前水果市场走势最新分析.doc
- 道德经与家庭教育.doc
- 道路视频监控系统现状及趋势分析.doc
- 全国青少年(毒品预防教育)知识考试题库与答案 .pdf
- 2023年山东胶州市领军计划自主招生历史试题真题(含答案详解) .pdf
- 【人教版八年级生物】第六单元 第二章 认识生物的多样性 .pdf
- 冀人版-第三单元 电(提升卷)-四年级科学上册单元培优进阶练.docx
- 新郑市事业单位统考真题 .pdf
- 冀人版-第三单元动物的生长与繁殖(单元测试)四年级下册科学.docx
- CLCN4基因变异相关癫痫的临床表型及基因变异特点 .pdf
- 【《“双减”背景下小学中年级语文自主阅读策略探究》6500字】 .pdf
- 高一语文开学第一课+课件+2024-2025学年统编版高中语文必修上册 .pdf
- 密山市事业单位统考真题 .pdf
最近下载
- NFPA 2500-2022 技术搜索和救援事故的操作和训练标准以及紧急情况下的生命安全绳索和设备 Standard for Operations and Training for Technical.pdf
- 人美版四年级上册美术(全册)教案.pdf
- 小学语文课堂小组合作学习有效性探究结题报告..doc
- 武汉天河国际机场使用手册.doc VIP
- 中国太空探索科技成就.pptx VIP
- 高支模专家论证施工方案PPT汇报材料.pptx
- 劳务外包服务项目投标方案(技术方案).docx
- 第六届(2024年)“信用电力”知识竞赛活动总试题库资料-下(多选、判断题汇总).pdf
- 施工企业公司简介及企业竞争优势(最新版).doc
- 运维公司培训题库(SVG部分)试题(答案).docx
文档评论(0)