2-7-04-03-01-01分布式存储系统的发展过程与特点-发展过程.2-7-04-03-01-01分布式存储系统的发展过程与特点-发展过程.ppt

大数据技术创新应用

冷链物流技术与管理资源库

山东交通职业学院

目录

Contents

03

大数据存储与管理

1.分布式存储系统

2.分布式文件系统

3.非关系数据库（NoSQL）

4.分布式数据库（HBase）

3.1分布式存储系统

分布式存储概念

分布式存储系统顾名思义就是将大量的普通服务器，通过网络互联，对外作为一个整体提供存储服务。具有可扩展性、可用性、可靠性、高性能、易维护、低成本等特性。

3.1.1分布式存储系统的发展过程与特点

分布式文件系统的发展

3.1.1分布式存储系统的发展过程与特点

分布式文件系统的发展

3.1.1分布式存储系统的发展过程与特点

代表：AFS、NFS、Coda

（1）AFS：1983年CarnegineMellon大学和IBM共同合作开发Andrew文件系统（AndrewFileSystem,AFS），AFS设计目标是将至少7000个工作站连接起来，为每个用户提供一个共享的文件系统，将高扩展性、网络安全性放在首位，客户端高速缓存，即使网络断开，可以对部分数据缓存。

（2）NFS：1985年Sun公司基于UDP开发了网络共享文件系统（NetworkFileSystem,NFS），NFS由一系列NFS命令和进程组成的客户机/服务器（C/S）模式。NFS第三版，加入了基于TCP传输，第三版发布六年后，NFS成为Linux中的稳定版本。

80年代

分布式文件系统的发展

3.1.1分布式存储系统的发展过程与特点

代表：AFS、NFS、Coda

（3）Coda：1987年CarnegineMellon大学在基于AFS的基础上开发了Coda文件系统，它为Linux工作站组成的大规模分布式计算环境设计的文件系统，通过两种互补机制为服务器和网络故障提供了容错机制，服务器复制机制，一个文件拷贝到多个服务器上，无连接操作机制，将缓存端暂时作为服务端的执行模式，Coda注重可靠性和性能优化，它提供了高度的一致性。

80年代

分布式文件系统的发展

3.1.1分布式存储系统的发展过程与特点

代表：xFS、TigerShark、SFS…

背景：进入九十年代，随着Windows的问世，极大促进了微处理器的发展和PC的广泛普及，互联网和多媒体技术也犹如雨后春笋般发展起来，一方面：对多媒体数据的实时传输需和应用越来越流行，另一方面：大规模并行计算技术的发展和数据挖掘技术应用，迫切需要能支持大容量和高速的分布式存储系统。

90年代

分布式文件系统的发展

3.1.1分布式存储系统的发展过程与特点

代表：xFS、TigerShark、SFS…

xFS：UCBerkeley参照当时高性能多处理器领域的设计思想开发了xFS文件系统，xFS克服了以往分布式文件系统只适用局域网，而不适用于广域网和大数据存储问题，提出广域网进行缓存较少网络流量设计思想，采用层次命名结构，减少Cache一致性状态和无效写回Cache一致性协议，从而减少了网络负载。

90年代

分布式文件系统的发展

3.1.1分布式存储系统的发展过程与特点

SAN、NAS、GFS、HDFS、GPFS…

背景：到了二十世纪末，计算机技术和网络技术得到了飞速发展，磁盘存储成本不断降低，磁盘容量和数据总线带宽的增长速度无法满足应用需求，海量数据的存储逐渐成为互联网技术发展急需解决的问题，对于分布式存储系统技术的研究越来越成熟，基于光纤通道的存储区域网络（StorageAreaNetwork）技术和网络附连存储（NetworkAttachedStorage）技术得到了广泛应用。

20世纪末

分布式文件系统的发展

3.1.1分布式存储系统的发展过程与特点

SAN、NAS、GFS、HDFS、GPFS…

·SAN：设计目标是通过将磁盘存储系统或者磁带机和服务器直接相连的方式提供一个易扩展、高可靠的存储环境，高可靠的光纤通道交换机和光纤通道网络协议保证各个设备间链接的可靠性和高效性，设备间的连接接口主要是采用FC或者SCSI，光纤通道交换机主要是为服务器和存储设备的链接提供一个称为“SANfabric”的网状拓扑结构。

20世纪末

分布式文件系统的发展

3.1.1分布式存储系统的发展过程与特点

SAN、NAS、GFS、HDFS、GPFS…

·NAS：通过基于TCP/IP协议的各种上层应用（NFS等）在各工作站和服务器之间进行文件访问，直接在工作站客户端和NAS文件共享设备之间建立连接，NAS隐藏了文件系统的底层实现，注重上层的文件服务实现，具有良好扩展性，网络阻塞，NAS性能受影响。

20世纪末

分布式文件系统的发展

3.1.1分布式存储系统的发展过程与特点

SAN、NAS、GFS、HDFS、GPFS…

·GFS：Goog