分析大数据应用的技术体系及潜在问题.pdfVIP

分析大数据应用的技术体系及潜在问题

摘要科学技术的发展到现阶段，信息技术相较于以前已

经相当发达。现在随着计算机和网络的普及，其已经逐渐成

为人们日常生活中的一部分，计算机技术的发展会对人类的

工作方式以及生活方式产生直接的影响，因此人们一直对其

极为重视。尤其现在智能手机以及无线网络的推广，国内的

网民数量也在不断提高，这就使得大数据的重要性被逐渐凸

显出来。现在大数据的应用技术在不断发展和完善，标志着

我国现在正在向大数据的时代迈进，因此对于大数据技术的

深入研究是很有必要的。

【关键词】增长率基础软件发展规模大数据

现在国内的电子设备以及智能化设备等发展势头迅猛，

据不完全统计，现在国内每五个人中就有三个拥有智能手机，

且用户增长率仍有持续升高的趋势。而且随着计算机的广泛

应用，与之相关的技术像传感器与射频识别等的研发也有了

极大的进步，这就为大数据的形成提供了良好的基础条件。

大数据时代的到来，不仅带来了机遇同时也伴随着一定的问

题，怎样去应对这些问题已经成为现在相关专家重点研究的

课题。

1大数据

1.1大数据的概念

大数据是信息数据含量极为宏大，且数据的相关资料的

数量也极为巨大，基础软件已经无法在短时间内对其进行有

效的获取及管理。一般企业对于大数据的进行科学研究的目

的就是为了提升企业收集各种有用信息数据的高效性和快

速性，从而帮助企业更好地进行决策和经营。大数据技术水

平一直在不断的发展中，到现在这一阶段我们将其叫做3V，

它能够代表现阶段大数据的所有性质以及特点。现在大数据

主要呈现了出规模性和多样性以及高速性的特点。所谓规模

性就是指现在信息数据的发展规模已经达到了工具不能测

量的大规模阶段；而多样性则是指对信息处理方式的多元化，

有结构化、半结构化以及非结构化等多种形式，但是这种多

元化的处理方式无形之中也增加了数据处理的繁杂性；高速

性就是现在的大数据能够将所需信息迅速进行处理，并保证

处理时间不延迟。

1.2大数据的信息处理程序

上文已经介绍了因为大数据信息处理的特点，导致其在

处理信息时整体程序都较为繁杂，目前主要分为三个层次：

1.2.1数据信息的收集

这一层次就是对大数据信息的接收和记录。在接收方面，

其接收的方式极为丰富，像传感器和网络链接以及服务器等

都能进行信息数据的收集。而进行信息记录的主要目的就是

为了对元数据进行选择，从而获取自己想要得到讯息并将其

组织起来。

1.2.2将信息数据进行集成

这一层次就是指将得到的信息进行整理、保存和截取。

将信息进行整理其目的就是要将所有的信息进行过滤，删除

价值较低的信息进行，并利用过滤器剔除无用信息和错误信

息，将信息分析错误的机率降到最低；而保存信息就是把已

经整理好的信息整合起来，建立信息数据库，以便用户随时

进行使用，避免了二次收集的麻烦；因为不能保证所有收集

的信息都是有价值的，所以除了对其进行过滤之外，对其进

行截取也是什么有必要的。截取之后的信息会变得更加简洁

明了且易处理，进而实现信息处理时间的最短化。

1.2.3对收集信息进行分析和解析

这一层次主要就是为了将信息进行技术分析以统计分

析，并对收集的数据进行整理和加工，促进大数据技术系统

的不断优化。可以从概率的本质入手，对认识率进行决策。

要确保对信息分析的精准性，要对其进行全方位的分析，既

要保证数据解析的准确性同时还要对大数据的使用空间进

行拓展。

2对大数据应用技术体系的解析

2.1大数据获取技术

目前收集信息数据的技术种类有很多，为了能够更好地

对大数据的应用技术体系进行解析，笔者先简单介绍几种应

用技术：

2.1.1云计算

从二十一世纪开始，云计算这一技术就开始被人们所熟

知，并对其给予了极大的关注度。其缘由是云计算的计算平

台十分灵活，不仅能够将各种数据以动态的形式体现出来，

同时还能保证服务质量的高品质，具有极高的使用价值。可

以将云计算看作是一个分布式编程模型，其规模较大，且较

为抽象、虚拟，可以将电脑中的数据进行存储并将其通过网

络的形式输送给需要的客户。一般如果所需要处理大规模的

信息量和数据时，云计算都会成为首选，而且使用云计算时

并不是无偿的，而是要根据使用资源的规模来进行收费，这

就意味着会产生成本，相关人员就可以利用这一方式来形成

一