“大数据应用开发”赛项竞赛手册 .pdf

2023年陕西省高等职业院校技能大赛 “大数据应用开发”赛项竞赛规程 一、赛项名称 赛项名称：大数据应用开发 赛项组别：高职组 赛项专业大类：电子与信息 二、竞赛目的 “十四五”时期，大数据产业对经济社会高质量发展的赋能作用 更加突显，大数据已成为催生新业态、激发新模式、促进新发展的技 术引擎。习近平总书记指出“大数据是信息化发展的新阶段”， “加 快数字化发展，建设数字中国”成为《中华人民共和国国民经济和社 会发展第十四个五年规划和2035年远景目标纲要》的重要篇章。 本赛项旨在落实国家“建设数字中国”战略，协同推动大数据相 关产业的创新与发展，大力推进大数据技术及相关专业的技术技能型 人才培养，全面提升相关专业毕业生的综合能力，展现选手团队合作、 工匠精神等职业素养，赋能经济社会高质量发展。竞赛内容结合当前 大数据相关产业中的新技术、新要求，如数据湖、OLAP数据库应用 等，全面检验参赛选手的工程实践能力和创新能力，推进教学过程与 生产过程对接、课程内容与职业标准对接、专业设置与产业需求对接， 促进职普融通、产教融合、科教融汇，引领专业建设和教学改革。竞 赛内容围绕大数据相关产业岗位的实际技能要求进行设计，通过竞赛 搭建校企合作的平台，强化竞赛成果转化，促进相关教材、资源、师 资、认证、实习就业等方面的全方位建设，满足产教协同育人目标， 为国家战略规划提供大数据领域高素质技能型人才。 6 三、竞赛内容 赛项以大数据应用开发为核心内容和工作基础，重点考查参赛选 手基于Hadoop、Spark、Flink平台环境下，充分利用Spark Core、 SparkSQL、Flume、Kafka、Flink、Hive、HBase、Redis、Maxwell、 ClickHouse、MySQL等技术的特点，综合软件开发相关技术，解决实 际问题的能力，具体包括： （一）掌握Hadoop平台、基于Spark的离线分析平台、基于Flink 的实时分析平台，在容器环境下，按照项目需求安装相关技术组件并 按照需求进行合理配置。 （二）掌握基于Spark的离线数据采集方式方法，完成指定数据 的抽取并写入Hive分区表中。掌握基于Flume、Maxwell 的实时数据 采集，将数据写入Kafka 中。 （三）综合利用Flink、Kafka、Hive、Redis、HBase、ClickHouse 等技术，使用Scala 开发语言，完成某电商系统的实时数据处理，包 括使用Flink处理Kafka中的数据、实时数据仓库、将数据备份至 HBase中、建立Hive外表、将数据处理结果存入Redis、ClickHouse 中等操作。 （四 ）综合利用Spark、Hive、MySQL、HBase、ClickHouse等相 关技术，使用Scala 开发语言，完成某电商系统的离线数据处理，包 括Hive数据仓库、使用Spark处理离线数据、数据合并、去重、排 序、数据类型转换、将数据处理结果存入MySQL、HBase、ClickHouse 中等操作。 （五 ）综合运用HTML、CSS、JavaScript等开发语言，Vue.js 前端技术，结合ECharts数据可视化组件，利用后端数据接口完成数 7 据可视化。 （六）根据竞赛过程，完成综合分析报告的编写。 （七）竞赛时间8小时，竞赛连续进行。 竞赛内容构成如下： 考核环节 考核知识点和技能点 Docker基本操作 Hadoop完全分布式安装配置 Spark安装配置 Flink安装配置 大数据平台环境搭建 Hive安装配置 Kafka安装配置 Flume安装配置 ClickHouse安装配置 HBase安装配置