大数据管理与应用概论 课件 1.2 大数据的概念与特征.pptx

1.2大数据的概念与特征

从数据到大数据数据（Data）是对客观事物的性质、状态以及相互关系等进行记录和描述的物理符号或物理符号的组合，是事实或观察的结果。与数据这一概念相关的还有信息、知识、智慧等。智慧知识信息数据对客观事物的性质、状态以及相互关系等进行记载的物理符号或其组合。有规律的数据，表示物质存在的一种方式、形式或运动状态，用以减少不确定性。对信息的进一步加工和应用，对事物内在规律和原理的认识，体现了知识的价值。人基于知识所做出的推理、判断和主张等，是创造性活动。

从数据到大数据全球信息化浪潮以来，智能硬件、网络技术、软件应用及其创新集成得到了极大的发展，可以说大数据时代已经到来。

大数据的基本概念难以用现有的一般技术管理的大量数据的集合，即所涉及的资料规模巨大到无法通过目前主流软件工具，在合理时间内实现获取、管理、处理、并使之成为有效的辅助企业经营决策的信息。狭义除了数据集合的含义外，还包括对这些数据进行存储、处理和分析的技术，以及从中发现新知识、创造新价值、提升新动能的新技术和新业态。其中，“存储、处理和分析的技术”是指用于大规模数据分时处理的框架Hadoop等。广义大数据所代表的不仅仅是重要的技术要素，更是一种战略性资源，大数据服务业已成为前景广阔的新技术产业。

大数据的资源观来源定义视角麦肯锡公司(McKinsey＆Company)大数据是个大的数据池，其中的数据可以被采集、传递、聚集、存储和分析。把大数据看作是一种与固定资产和人力资本类似的重要生产要素。高德纳咨询公司(GartnerGroup)大数据是大容量、高速度和形式多样的信息资产。从技术特征、处理方法和应用价值3个方面对大数据做出了界定。IBM公司用规模性(volume)、高速性(velocity)、多样性(variety)和真实性(veracity)来描述大数据。将大数据定义为一种数据集合，指出了大数据4个方面的技术特征。维基百科(Wikipedia)大数据是指规模庞大且复杂的数据集合。从大数据的处理方法和处理工具的视角认识大数据。美国国家科学基金会(NSF)大数据是指由科学仪器等和/或所有其它现在或将来可用的数字源产生的大规模、多样的、复杂的、纵向的和/或分布式的数据集。对开展大数据的科学研究没有设置任何边界。由于人们分析大数据的背景和应用大数据的目的存在众多差异，因此对大数据的定义也有所不同，下表总结了几个基于不同视角的有代表性的定义。

大数据的资源观管理视角大数据是一类能够反映物质世界和精神世界运动状态和状态变化的信息资源，一般具有多种潜在价值。复杂性决策有用性可重复开采性高速增长性价值稀疏性获取问题加工问题应用问题作为重要的战略资源，大数据中包含诸多关键的管理问题，尤其是当大数据被看作一类“资源”时，就不可忽略这种资源的管理问题。产权问题产业问题法规问题……管理特征功能多样性

大数据的发展过程摩尔定律的贡献不仅是计算机硬件功能的指数增长，还使硬件成本的急剧降低，使智能手机迅速普及，使传感器成本极大下降，进而使自动化数据收集成本趋于微不足道，从而迎来大数据的爆发。摩尔定律奠定基础网络连接使得数据爆炸式增长，并快速汇聚。随着互联网与各行各业的深度融合，工业互联网、能源互联网、医联网等使得各种机器和设备都在无时无刻不在接入网络并产生大规模数据。互联网推动大连接大数据应用的核心技术是软件，软件的作用不仅仅是大数据资源的数据挖掘，还是智能技术集成创新的粘合剂，软件工程的发展与软件工具的积累为大数据智能系统的大量涌现奠定了基础。软件与新技术的创新驱动大数据体现的是多种信息技术共生的新生态环境。基础技术的出现为新技术、新应用的创新提供了良好机会。新技术是已有技术的集成创新，积累的技术越多创新机会就越多，这是一个正反馈循环。大数据生态日渐完善大数据发展的技术背景

大数据的发展过程概念解释大数据大数据是一类能够反映物质世界和精神世界运动状态和状态变化的信息资源，它具有复杂性、决策有用性、高速增长性、价值稀疏性和可重复开采性，一般具有多种潜在价值。海量数据规模量巨大的结构性数据，规模量1PB。小数据小数据是指以特定对象为中心、以回应特定需求为导向、以解决特定问题为目的，具有多源性、异质性、动态性、全息性的数据集以及相关的数据采集、处理、分析和人机交互的思维方式及数据处理方法。大数据VS海量数据大数据VS小数据结构性数据结构性数据半结构性数据非结构性数据全部数据模糊数据关注相关性抽样数据精确数据追究因果性相关概念的区分

大数据的分类商务大数据是大数据技术赋能商业创新的重要技术支撑。医疗大数据结合人工智能技术可全面提升医疗领域的服务水平。能源大数据是支撑智慧能源管理和节能增效的重要资源