大数据导论_原创文档.pdfVIP

大数据导论

1.什么是大数据

介绍大数据的定义及来龙去脉

信息技术主要解决的问题

信息采集

信息存储

信息处理

信息显示

信息技术的发展

1.信息采集技术的不断完善和实时程度的不断提升

2.信息存储技术的不断提升

3.信息处理速度和处理能力的急速提升

4.信息显示技术的完备和日臻成熟

数据产生方式的变革

1.传统大型商业领域业务运营数据产生方式的变化

2.互联网时代数据产生方式的变化

3.物联网（IOT）加快了数据产生方式的变革

大数据的数据特征

1.数据量巨大(HugeValume)

2.数据类型繁多(Variety)

3.信息处理速度快(Velocity)

4.价值密度低(Value)

大数据的技术特征

1.大数据时代的技术是开放性的

2.大数据时代的技术是平台化的

3.大数据时代的技术是基于新型的实验训练性质的数学算法实现的

4.大数据时代的技术最终目标是实现人工智能管理和机器人代工

大数据的社会价值

1.大数据为各个行业带来了行业规划和行业决策的整体升级

2.大数据为行业的整体发展注入更加公平和充沛的活力

3.大数据从实际意义上促进了信息技术产业与工业企业的深度融合

4.大数据极大地提升了企业自主创新能力，为新技术和新方法的出现提供高效信息咨

询

2.大数据技术基础

介绍大数据的主要实…了解支撑大数据发展…

计算机操作系统

操作系统(OperatingSystemOS)

含义

实际为一套程序的组合体，或视为直接管理和控制计算机硬件设备的一组程序

组合，其主要任务是管理计算机的所有活动和驱动计算机的整体硬件。

系统调用接口

程序管理

内存管理

文件系统管理

硬件装置的驱动

Linux操作系统

含义

一个诞生于网络、成长于网络且成熟于网络的操作系统，始于1991年

发展过程

单一个人维护阶段

广大黑客志愿者加入阶段

Linux核心的细分工、快速发展阶段

应用场景

企业环境的应用

个人环境的使用

云端的运用

编程语言

发展与种类

1614年——1945年称为:编程语言的远古时代

1946年——1953年：出现机器语言和汇编语言(通称为低级语言)

1954年至今：编程语言进入高级语言，并有发展出使用编译器的阶段

高级语言简介

静态语言

代码中的变量类型是整个流程都不能改变的。(C,C++,java)

动态语言

代码中不需要进行变量声明。(Python,Perl,Ruby,PHP)

数据库

数据库技术是信息技术的核心技术

SQL数据库

SQL数据库随着市场需求和开源数据库品种越来越多，开始无法满足当下的需求，

就出现了NoSQL数据库

缺点

数据模型不灵活(当然也保证了其数据的安全性和商业隐私性)

水平扩展能力有限

NoSQL数据库

特点

1.优秀的可扩展性

2.方便多用的数据类型承载能力

3.NoSQL数据服务与云计算可以紧密融合

分类

键-值数据库6

列族数据库6

文档数据库5

图形数据库3

NewSQL数据库

结合了NoSQL数据库和SQL数据库的技术优势

算法

数学处理的灵魂和核心