大数据开发工程师岗位的主要职责概述(31篇).pdf

大数据开发工程师岗位的主要职责概述(31篇)--第1页

大数据开发工程师岗位的主要职责概述（31篇）

大数据开发工程师岗位的主要职责概述（31篇）

大数据开发工程师岗位的主要职责概述（通用31篇）

大数据开发工程师岗位的主要职责概述篇1

职责：

1、负责大数据平台架构的整体设计，承担数据抽取、清洗、

转化等数据处理程序开发;

2、为业务运营提供技术支持，完成应用系统的搭建、优化、

升级工作，保证平台稳定运行;

3、编写系统的需求分析、设计、开发和部署文档等。

岗位要求：

1、硕士及以上学历，计算机、自动化、通信等相关专业;

2、熟练掌握Java语言，并熟悉Python语言，熟悉分布式系

统架构，有hadoop，spark系统架构经验;

3、熟悉实时计算框架storm，flink，sparkstreaming其中

之一;

4、熟练使用SQL，熟悉数据库原理，熟练使用至少一种主流

关系型数据库;

5、熟悉软件开发流程，能够根据需求编写需求、设计、开发

手册等项目过程文档;

第1页共28页

大数据开发工程师岗位的主要职责概述(31篇)--第1页

大数据开发工程师岗位的主要职责概述(31篇)--第2页

大数据开发工程师岗位的主要职责概述（31篇）

6、具有良好的沟通能力和主动性，抗压能力强。

大数据开发工程师岗位的主要职责概述篇2

职责：

1.对数据进行结构化、标准化处理，对处理流程进行自动化

搭建

2.通过ETL/Cube数据建模，构建基于数据仓库的分析工具;

3.参与数据与公司软件产品及第三软件的API对接;

4.搭建与优化，数据采集、处理、可视化流程中所需的框架

与模块开发;

5.协同内外部力量完成需求的表达与技术攻关。

任职要求：

1.熟悉数据库的设计和开发如：Oracle/Mysql/MSSQL/Redis

等，有处理大量数据经验的优先;

3.熟练使用ETL工具进行数据抽取，清洗，转换，关联等操

作;

4.熟练使用Linu_操作系统,具备编写shell的能力;

5.熟练使用主流的开发框架，掌握以下语言：Java、Python;

了解过源码的优先;

6.具有2年以上数据仓库(DW)、商务智能(BI)、大数据等方

面的软件或项目开发经验;

第2页共28页

大数据开发工程师岗位的主要职责概述(31篇)--第2页

大数据开发工程师岗位的主要职责概述(31篇)--第3页

大数据开发工程师岗位的主要职责概述（31篇）

7.了解可视化及BI工具者优先;

大数据开发工程师岗位的主要职责概述篇3

职责：

1、规划及建设大数据平台;

2、负责大数据存储系统、分布式计算系统、挖掘算法等设

计、研发以及维护、优化工作;

3、负责分析、挖掘、对抗各种产品安全层面的恶意行为;

4、参与项目的系统设计和核心代码开发，指导和培训其他

工程师;

5、整理和提交技术文档，负责核心功能模块的代码编写和

测