大数据代索引与数据库事业的发展与创新.ppt

3 索引与数据库的发展现状 至今，数据库的许多概念、应用领域，甚至某些原理都有了重大的发展和变化，形成了数据库领域众多的研究分支和课题，产生了一系列新型数据库。如：分布式数据库、联合数据库、大规模并行处理数据库等。 国外数据库的发展大致经历了四个阶段： RCCSE 中国科学评价研究中心 1970年以前为初步发展阶段； 1970-1980年数据库数量迅速增加，开始进入联机检索阶段； 1980年至2010年数据库数量剧增，类型也发生了巨大变化，而且开始全球化，是数据库的深入发展阶段； 2010年至今，数据的类型和数量均发生了重大变化，数据库也必须随之发生改变，于是进入了变革发展阶段。 RCCSE 中国科学评价研究中心 3 索引与数据库的发展现状 我国数据库的研究和应用相对国外来说，起步较晚，也可以大致参照国外的发展状况划分为四个时期： 介绍学习时期（70-80年代）、初步发展时期（80-90年代）、稳定发展时期（1990-2010年）、变革发展时期（2010年至今）。 总的来说，国内外的数据库技术发展非常迅猛。 RCCSE 中国科学评价研究中心 3 索引与数据库的发展现状 分析我国数据库建设现状，目前仍处于较低的发展阶段。 虽然已经建立了种类众多的数据库，全国各高校的计算机和信息管理专业都开设了数据库课程，数据库、商业数据库的建设和使用越来越广泛。 RCCSE 中国科学评价研究中心 3 索引与数据库的发展现状 3 索引与数据库的发展现状 但是，我国的数据库建设仍然普遍存在以下一些制约因素： 政府缺乏统一的整体规划； 各地的信息机构对数据库的建设不够重视； 数据库的技术发展仍滞后于国外； 商业数据库的建设和应用不够广泛； 数据库技术人员的素质还有待提高等。 RCCSE 中国科学评价研究中心 而在国外，从六十年代末期开始，数据库系统的研究和开发已经走过了四十多年的历程，取得了辉煌的成就，形成了庞大的产业。 数据库技术和系统已经成为世界各国信息基础设施的核心技术和重要基础。 RCCSE 中国科学评价研究中心 3 索引与数据库的发展现状 3 索引与数据库的发展现状 进入大数据时代，当我国还在研究大数据的概念时，英国的维克托?迈尔?舍恩伯格早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究，已写出了《大数据时代》这本对大数据系统研究的先河之作，并被誉为“大数据商业应用第一人”。 RCCSE 中国科学评价研究中心 4 大数据时代索引与数据库事业面临的挑战及创新 4.1 面临的挑战 大数据对于索引和数据库事业而言，既是巨大的机遇，又是巨大的挑战。面对海量的种类繁多的半结构化和非结构化数据，从中迅速的进行分析，找出有效的价值，这一方面具有重大的经济意义，另一方面也要求我们必须改进现有的技术，使用新方法来从数据中提取价值。 大数据时代对索引和数据库事业提出了如下的重大挑战： RCCSE 中国科学评价研究中心 （1）理念更新。大数据带来的是一种全新的模式，索引和数据库的观念也要随之跟随变化，以适应时代的需要。同时要更加注重商业思维，充分利用大数据，获取经济利益。 （2）及时有效。大数据时代的数据产生迅速，数据的价值生命周期却很短暂，如何能够及时有效的从数据中发现商机并付诸行动才能获取价值。 RCCSE 中国科学评价研究中心 4 大数据时代索引与数据库事业面临的挑战及创新 （3）集成分析。如果将分析集成到与数据所面临的环境中，将加快信息分析的速度，使分析结果能够更快的实现可操作化。 （4）可扩展。面对大数据必须采取新方法来处理数据，要实现从规模较小的数据集到大规模数据集的分析，因为我们不能控制所面临的数据源产生数据的规模。 RCCSE 中国科学评价研究中心 4 大数据时代索引与数据库事业面临的挑战及创新 4.2 技术的创新 目前，大数据时代的索引和数据库事业已经创造出了很多重要的基础性的新技术，如下： RCCSE 中国科学评价研究中心 云计算 虚拟化 数据存储 智能索引 数据分析 4 大数据时代索引与数据库事业面临的挑战及创新 （1）云计算（cloud computing） 云计算是在分布式处理、并行处理和网格计算等技术的基础上发展起来的，是一种新兴的共享基础架构的方法。它可以自我维护和管理庞大的虚拟计算资源（包括计算服务器、存储服务器、宽带资源等等），为我们提供了跨地域、高可靠、按需付费、快速部署的能力。甚至可以说，云数据库是数据库技术的未来发展方向。 RCCSE 中国科学评价研究中心 4 大数据时代索引与数据库事业面临的挑战及创新 云数据库具有以下特性：动态可扩展，理论上，云数据库具有无限可扩展性；高可用性，不存在单点失效问题；较低使用代价，可以实现按需付费；可以