03.《大数据导论》第3章 大数据存储与管理无题目.pptx

第三章大数据存储与管理3.1数据存储与管理概述3.2关系型数据库3.3大数据存储与查询《数据科学与大数据技术导论》of651

of6523.1数据存储与管理概述第三章大数据存储与管理1.什么是数据存储与管理？数据存储和管理技术提供对数据的分类、编码、存储、索引和查询等功能，即负责数据的存储（写入）和查询检索（读取）。2.传统的数据库技术数据库适应多种场景，追求应用的通用性、数据的一致性以及系统的高性能等目标。3.大数据时代的数据存储技术数据量急剧增大，数据类型日趋复杂，使用场景从通用向特定场景需求过度，分布式文件系统、非关系型数据库NoSQL、NewSQL、云存储等新型数据存储与管理模式得到快速发展。

of6533.1数据存储与管理概述第三章大数据存储与管理3.1.1数据库管理技术3.1.2数据仓库管理技术3.1.3大数据存储管理技术

of6543.1.1数据库管理技术第三章大数据存储与管理引言数据库是按照一定的数据结构来组织、存储和管理数据的，是建立在计算机存储设备上的仓库。简单来说，数据库本身可视为电子化的文件柜，用户可以对文件中的数据进行新增、截取、更新、删除等操作。严格来说，数据库是长期储存在计算机内、有组织的、可共享的数据集合。数据库中保存的数据结构既描述了数据间的内在联系，便于数据增加、更新和删除，也保证了数据的独立性、可靠性、安全性与完整性，提高了数据共享程度和数据管理效率。

of6553.1.1数据库管理技术第三章大数据存储与管理1.数据库发展历程20世纪60年代后期，数据量出现急剧增长，同时多种应用、多种语言互相覆盖地共享数据集合的要求越来越强烈，数据库技术应运而生。20世纪70年代，IBM公司的EdgarFrankCodd开创了关系数据库理论。20世纪80年代，关系数据管理在学术界和工业界取得主导地位。Codd获得了1981年的图灵奖。EdgarFrankCodd

of6563.1.1数据库管理技术第三章大数据存储与管理2.数据库管理系统数据库管理系统（DatabaseManagementSystem，DBMS）是一个通用的软件系统，它是由一组计算机程序构成，能够对数据库进行有效的管理，包括数据存储结构的定义、数据操作机制的提供、数据的安全性保证以及多用户情况下数据完整性管理等。DBMS的主要目标是提供一个可以方便、高效地存取数据库信息的环境。数据库管理系统DBMS数据库DataBase应用程序1应用程序2……应用程序n

of6573.1.2数据仓库管理技术第三章大数据存储与管理1.数据仓库管理技术提出的背景数据库技术主要以数据库为中心，进行事务处理和分析工作。随着各类应用的深入和数据数量的积累，人们逐渐想着如何去挖掘数据之间的联系，从而发现数据的价值。2.事务处理和联机分析处理事务处理和分析处理具有极不相同的性质，事务性数据处理要求数据的一致性、完整性、存取频率高、处理时间短。分析决策型应用多来自于不同数据源，数据存取频率低、处理时间长。3.数据仓库的提出现有的数据库技术无法实现这种复合任务，直接用事务处理环境来支持决策分析往往行不通，于是数据仓库技术应运而生。

of6583.1.2数据仓库管理技术第三章大数据存储与管理1.事务型处理（OLTP）和分析型处理（OLAP）事务型处理的特点分析型处理的特点细节的综合的或可提炼的表示业务处理的动态发展表示已经处理业务的静态情况可更新不更新操作需求事先知道操作需求事先不知道对性能要求高对性能要求宽松一个时刻操作一个单元一个时刻操作一个集合事务驱动分析驱动面向应用面向分析一次操作数据量小一次操作数据量大支持日常操作支持管理需求

of6593.1.2数据仓库管理技术第三章大数据存储与管理数据仓库和数据库数据仓库（DataWarehouse）是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对用于支持管理决策稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，。比较项目传统数据库数据仓库总体特征高效、即时的事务处理以提供决策支持为目标面向用户业务人员管理决策人员功能目标面向业务操作面向数据分析存储内容以当前业务数据为主主要是以发生的历史数据为主基础结构关系型多维型关系结构3NF三级范式星型或雪花型结构使用频率很高较低访问特征读取、写入并重读取为主数据规模较小较大

of65103.1.2数据仓库管理技术第三章大数据存储与管理3.数据仓库的体系结构

of65113.1.3大数据存储管理技术第三章大数据存储与管理大数据存储管理技术的发