关于大数据的数据处理探讨.docx

?

?

关于大数据的数据处理探讨

?

?

霍福华

摘?要：随着信息技术和计算机科技的进一步发展，互联网应用普及，以往人们忽视的数据资源价值更加凸显，由此发展的大数据技术更是将这些海量的数据信息资源充分挖掘出来，实现数据资源转化为经济来源，为学校优化管理方式和优化课程设置、为企业制定生产和发展决策、为政府制定相关管理政策等都提供了有效的参考。大数据在数据处理中，用到的相关技术较多，掌握这些技术应用，对于进一步推动大数据发展具有重要意义。本文分析了大数据的数据特点，分析目前大数据数据处理中的关键技术，并针对大数据数据处理技术的进一步优化和应用，提出几点建议。

关键词：大数据;数据处理;关键技术;应用

：TP399???：A

Abstract：withthefurtherdevelopmentofinformationtechnologyandcomputertechnologyaswellasthepopularizationoftheInternet，thevalueofdataresourcesneglectedbypeopleinthepasthasbecomemoreprominent.Bigdata，whichisdevelopedfromthis，fullyexcavatesthesemassivedataandinformationresources，realizestheconversionofdataresourcesintoeconomicsources，optimizesmanagementmethodsandcurriculumsettingsforschools，formulatesproductionanddevelopmentdecisionsforenterprises，andprovideseffectivereferencesinmakingrelevantadministrationpoliciesforthegovernment.Bigdatainvolvesmanyrelatedtechnologiesindataprocessing，somasteringtheapplicationofthesetechnologiesisofgreatsignificanceforpromotingthedevelopmentofbigdata.Thispaperanalyzesthedatacharacteristicsofbigdata，analyzestheexistingkeytechnologiesintheprocessofbigdata，andputsforwardsomesuggestionsforthefurtheroptimizationandapplicationofbigdataprocessingtechnology.

Keywords：bigdata;dataprocessing;keytechnology;application

1??引言（Introduction）

目前，大数据已经在人们的生活中普遍应用，人们在消费、生产、工作，以及多种领域中都会留下一定的数据信息，为大数据提供了充足的数据资源，而大数据的发展也在一定程度上便利了人们的生产和生活，强化大数据处理技术应用，优化大数据技术系统，对于发挥大数据更大的价值具有重要意义。

2?大数据的数据特点（Thedatacharacteristicsofbigdata）

就大数据中的数据总体特点来看，主要体现在以下几个方面：

第一，數据的庞大性，大数据收集和处理的数据是海量的，这些数据是动态变化的，在数据处理的过程中还会不断增长和变化，因此，大数据处理的数据还在不断扩展，数据量不断增长。大数据的数据量庞大要求进行大数据处理和分析的设备，以及软件、硬件等自身的春储存能力和信息处理能力必须要十分强大，才能应对时刻变化增长的数据[1]。

第二，数据的多样性，大数据收集来的海量数据中，数据的存在形式可能是多种多样的，除了一些常规的数据，还包括图片、文字、视频等非结构化的数据资料，对于这些资料必须要进行有效识别和处理，才能转化为有价值的数据信息，这需要大数据数据处理系统进一步优化系统识别能力，提升数据转化能力。

第三，数据的快速性，大数据对于海量数据的处理主要是针对快速变化的数据开展分析处理的，因此，需要通过快速的系统处理和计算快速得出处