SJ_T 11788-2021大数据从业人员能力要求.pdf

ICS 35.240SJL 70中华人民共和国电子行业标准SJ/T 11788—2021大数据从业人员能力要求Requirements for capability of big data practitioners2021-08-21发布2021-11-01实施中华人民共和国工业和信息化部发布 SJ/T 11788—2021目次前言，范围2规范性引用文件3术语和定义3. 1通用概念3.2岗位名称大数据从业人员职业种4. 1职业种类4.2职业等级大数据人员5. 1总体要5. 2基础6大数据人力要才6. 1大费位能6. 2大贵尚位能力岗位能力要116. 3大136. 4大婴位能6.518大费位能6.6大数立能力22评价方法247. 1岗位评岗位评价247. 224附录A（资料性）业技术技能标准（大数据2021版）标准对照关系26A. 1概述..26A. 2能力要求对照关系表26附录B（资料性）岗位设立依据资料27B. 127B. 2大数据技术参考模型依据，大数据从业人员岗位对照关系。B. 430附录C（规范性）培训师要求31C. 1概述培训师的职责，31C. 231C. 3培训师的能力要求31附录D（规范性）培训机构要求32D. 1概述32 SJ/T 11788—20215)能根据业务需求对不同数据源数据进行整合：6)能根据业务规则对数据格式进行转换：7)能根据数据归一性原则对数据进行单位、数值规约；8)能根据业务需求编写批量、实时数据计算作业：9)能根据数据特征计算数据标签并进行汇总；10) 能根据数据指标规则计算关键业务指标；11能根据数据平台构建联机事务分析系统并进行即席查询：12)能根据检索引擎创建索引库并进行数据检索：13能使用交互式查询工具创建数据接目并提供对外服务接口；14)能使用交互式查迎经验：1) 具有数携买相天经历。6. 1. 1. 2中级能大数据采集SJa)专业配置2)则与迁3)储策略法与数像知识6)斜知识7)行分8)知识：9)识；10)b)专业技能1)进行国络、高线、实时数据采集配4爱存及消息队列：2)能根据业3)能制定调度策ND4)能制定存储策略并指导初5)能根据业务需求编写批量、实时数据计算作业并优化作业参数：6)能根据业务规则设计相应标签库并进行标签管理；7)能根据业务规则设计相应数据指标计算算法：8)能根据业务规则对关系对象进行图计算：9)能使用大规模并行分析数据库优化联机事务分析系统性能；10)能使用计算引擎优化数据查询效率；11)能通过计算平台构建检索分析系统。c)经验：具备一定的采集相关项目经验。 SJ/T 11788—20高级能力要求数据采集工程师高级能力要求具体如下。a)专业知识：1)数据采集与迁移策略：2) 依赖调度原理知识：3) 存储架构知识：4)数据算法设计；5) 数据分区及缓存知识：6)外部程序管道知识：7)计算引擎优化知识：8) 索引优化知识：(6数据加盐知识：10)驱动器与执行器知识。b) 专业技能：1)能根据业务场录制定数据采集策略并监控采集情况：2)能根据业务场景制定数据迁移策略并监测迁移情况：3)能根据业务及性能需求设计消息传输及推送方案：4)能根据业务需求及依赖关系设计调度方案；5) 能根据业务需求及存储应用设计存储策略：6)能根据业务需求设计离线或实时数据计算算法：7)晚制定数据标签库管理及规范：8) 能制定数据计算开发流程及规范：(6能制定数据查询操作流程及规范：10)能深入计算引擎对底层代码进行优化以提升查询性能：11)能制定对外数据接口规范及权限。c)经验：1)具备数据采集相关项目经验。6. 1. 2数据标注工程师6. 1. 2. 1初级能力要求数据标注工程师初级能力要求具体如下。a)专业知识：1) 计算机操作系统基础知识：2) 计算机网络基础知识；3)数据结构知识：(f信息安全基础知识；5)数据采集知识；6)数据库知识：机器学习知识。b)专业技能：1) 能理解数据处理、数据挖掘技术；8 SJ/T 11788—20212)能理解数据调研、数据采集、数据归类存储技术：3)能完成数据脱敏、数据格式转换：4)能对文本、图片、视频等数据进行整理；5)能熟练掌提数据标注工具：6)能完成精准标注。经验：1) 具有数据标注实训/实习相关经历。6. 1. 2. 2中级能力要求数据标注工程师中级能力要求a)专业知识：AND1)描述性统2)大数据3)数摄4)b) 专业握和送格式转换技术2)地完成辅示注c)经定的数据6. 1. 3数据开工程师6. 1. 3. 1数据应用师初级能a)1) 发知识：数据通信知识：2) 3)数据缓容知设4)商业智能5)消息中间件知识NDb)专业技能：1)能根据系统架构，规划各项组件接口双范：2)能根据业务功能，设计接口权限及参数规范；3) 能对整