原创力文档- 1、本文档共3页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
114信设计与应用20212月
大数据平台下云融合基础数据智能稽查的研究
122
尹立云吴志伟李锦华
中国电信集团有限公司，北京；中国电信股份有限公司广东综合维护优化中心，广东广州）
1.1000332.510627
【摘要】本文基于Hadoop大数据框架搭建光缆基础数据质量分析工具遥依据光缆完整性判别模型深入研究云网数据结构
建立本地网基础异常数据自动清洗尧异常坐标智能化纠错尧光缆路由补全优化算法结合HDFS分布式文件系统和MapReduce
计算模型设计并实现云网数据智能稽查算法遥通过对全国各省份云网基础数据进行多期整治不断迭代级智能稽查算法
同时完成对云网基础数据的智能稽查提高光网数据质量遥
关键词】云网数据曰光缆维护曰完整性曰Hadoop曰数据清洗曰智能纠错
中图分类号】文献标识码】文章编号】（）
F323A1006-4222202102-0114-03
模型，提供可靠的共享存储功能，实现分析
0引言HDFSMapReduce
随着基础网络通信设施的发展以及国内网络的建设，处理流程。本文还将使用到Sqoop工具，用于Hadoop和关系
5G
光缆物理路由资源已逐步显现出其稀缺性，成为影响各大通型数据库之间传送数据。
信运营商竞争和市场发展的战略因素。加强光缆基础数据维2.1HDFS分布式文件系统
护和完善，对光网络建设规划、维护优化、工作量化等各项工HDFS是Hadoop体系的基础，是Hadoop大数据框架最
作开展起到重要作用。调研显示本地网云网基础数据量大，其底的数据存储与管理设施，具有良好的海量数据分布式存
中需核查校对的数据高达840万条。采用人工校对为主、脚本储能力。HDFS以流式数据访问模式来存储文件，程序运行时
整改为辅的方式，不仅工作量巨大，而且效益低下，对整体整采用“移动计算”方式，减少磁盘寻址开销和内存损耗，适合一
治工作造成极大不良影响。基于大数据平台搭建质量分析工次写入、多次读取的访问模式。在进行云网基础数据稽查时，
具，建立本地网基础数据自动清洗、智能化纠错、优化补全光从传统关系型数据库一次性导入数据到Hadoop中，在稽查过
缆算法等，不仅能够节约人力成本、提高整治效率，也能够更程不修改Hadoop中的数据，做到一次写入、多次读取。
直观展现各阶段本地网基础数据整治效果。2.2MapReduce计算模型流程
包含两个阶段：阶段和阶段。依据
1云融合基础数据质量分析MapReducemapreduce
基于云网数据结构和关联关系，提出光缆完整性判模具体业务，实现map和reduce函数，通过map和reduce多步
骤计算过程，产生最终结果。以清洗光缆段长度业务为例：
型。根据完整性判模型，细致评估检查本地网云网资源完整map
性，结果显示云网光缆完整率整体偏低，无法满足高质量网络阶段读取源数据之后生成“光缆段—长度”“光缆段—路由长
度”两个映射集；
文档评论（0）