大数据开发工程师的岗位职责（最新10篇）

大数据开发工程师的岗位职责 篇一

职责：

1、从事Hadoop、Spark、Hbase、hive等分布式大数据产品的设计和开发；

2、针对部门大数据业务进行大数据分析、挖掘等产品应用的开发；

3、大数据平台各类数据业务抽象及模型化；

4、参与大数据管理平台的开发及维护；

5、负责大数据平台数据及相关的应用开发，调优及维护；

6、为项目相关开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题；

7、良好的团队合作与沟通能力。

任职要求：

1、本科及以上学历，2年以上大数据应用开发经验；

2、具备Java、Python、Scala其中两种语言的开发经验；

3、了解泛Hadoop大数据生态圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中两种以上技术，并有实际的项目开发经验，有相关源码研究者优先；

4、具备ETL开发与运维能力，有Flume、kettle经验优先；

5、熟悉大数据平台的搭建过程，熟悉数据处理流程，有TB级以上数据处理经验优先，有实时数据处理经验者优先；

6、熟悉离线和实时数据处理流程，熟练使用Spark，Flink处理TB级数据优先；

7、熟悉Linux系统环境，有shell等脚本编写经验，熟悉Mysql、PostgreSql、Oracle等常用关系数据库，熟练编写SQL语句；

8、熟悉Yarn,Kubernetes,Azkaban等资源调度框架者优先；

9、熟悉Datax的二次开发，并有实际开发经验优先。

大数据开发工程师的岗位职责 篇二

职责：

1、负责大数据ETL开发与维护；

2、负责大数据平台数据库的设计以及开发；

3、负责大数据计算框架的选型与计算流程的设计与开发；

4、负责数据服务的设计与开发。

任职资格：

1、本科及以上学历；

2、熟悉Flink、flume、jstorm、sparkstream、hive、spark等分布式开源软件，具备系统优化与性能调优能力者优先；

3、精通JAVA等面向对象编程，有分布式并行计算的开发经验优先；

4、熟练掌握至少一种MySQL、SQL Server、Oracle等关系型数据库或MongoDB、Redis等NoSQL数据库 ,有hive等数据仓库研发经验优先；

5、熟悉大数据、云计算概念，了解Hadoop、Hive、Hbase等大数据主流技术及开源框架者优先；

6、自学能力强，沟通能力较好，有一定独立分析，技术研究能力，具有良好的团队合作精神；

7、数据意识强，有较好的文档编写能力，以及踏实的工作作风。

大数据开发工程师的岗位职责 篇三

职责：

1、负责数据分析、加工、清理，相关处理脚本和程序的开发；

2、负责开发大数据工具，如报表平台、多维度分析工具、ETL平台、调度平台的研发；

3、负责分布式大数据平台应用开发(Hadoop/Spark/Hive/HBase等);

4、负责大数据相关平台的维护、优化。

任职要求：

1、本科及以上学历，计算机相关专业，具有5年及以上的大数据ETL或数据开发经验，熟悉大数据组件的维护以及调优；

2、熟练掌握Java或Python编程语言，熟悉大数据架构体系，熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技术中的一个或者多个，熟悉Sqoop、DataX等数据导入工具；

3、能熟练使用Hive、HBase、Spark等加工和处理数据，有海量数据处理经验；

4、有数据仓库开发经验/BI系统开发经验优先；

5、有电商行业数据处理与分析平台开发经验者优先。

大数据开发工程师的岗位职责 篇四

职责：

1、依据客户需求完成大数据项目的数据分析及建模；

2、进行大数据核心算法的编写；

3、参与项目的需求分析、系统设计、编码工作；

4、参与开发过程中相关新技术的研究和验证。

5.协助承担架构性的体系设计和改造工作，配合制定技术实施方案，按照总体设计组织子系统的设计和开发。

任职要求：

1、精通数据建模、数据体系建设，具备数据仓库架构设计、模型设计和处理性能调优等相关经验；

2、具有丰富的基于hadoop体系的数据平台、数据仓库建设经验，精通基于hadoop源码的开发、优化改造及成功应用案例；

3、精通hadoop生态体系各项技术，如kafka、flume、hive、impala、hbase、spark等，具有100+节点hadoop集群的开发、运维经验；

4、具有对大型hadoop集群的硬件规划能力；

大数据开发工程师的岗位职责 篇五

职责：

1、根据公司信息化发展需要和业务流程要求，对ERP系统和OA平台进行定制化二次开发和功能扩展，制定二次开发方案、计划并实施，分析并解决开发过程中的问题；

2、或能自主开发满足公司管理需要的软件系统，负责软件产品的架构设计、功能模块设计、数据库结构设计及核心代码开发；

3、对ERP系统、OA平台或自主开发软件系统进行维护，保障软件系统的稳定运行；

4、负责其他系统与ERP接口的技术支持；

5、完成上级临时交办的其他工作。

任职资格：

1、计算机、电子信息工程相关专业，大专以上学历；

2、对ERP系统和OA平台的功能和使用比较熟悉；

3、熟悉软件系统开发过程，有编写代码、编写脚本的经验，熟悉至少两种开发语言；

4、有二次开发经验，熟悉ERP二次开发和实施经验者优先；

5、具有数据库及高级应用程序开发经验；

6、具有通信协议接口开发经验；

7、熟悉SQL Server、Oracle等数据库开发。

大数据开发工程师的岗位职责 篇六

职责：

1. 负责运营平台以及移动应用服务器API开发与维护，编写开发文档；

2 .根据业务需求提出技术方案，负责系统框架的规划、开发；

3. 熟悉支付业务流程，对已有模块的调优和bug修复。

任职资格：

1. 计算机及相关专业，熟悉掌握PHP、熟悉面向对象编程；

2 .有成熟的项目经验，能独立处理开发中遇到的问题；

3 .熟悉Linux服务器相关知识，熟悉Nginx/Apache等服务搭建，对服务器搭建和系统性能调优有了解；

4 .熟悉掌握MySQL数据库的使用，对高并发数据处理和数据优化有相应的处理方案；

5 .对缓存技术有了解，使用过Redis/Memcache/Mongodb等常见nosql数据库之一。

大数据开发工程师的岗位职责 篇七

职责：

1.根据产品或项目开发进度和任务分配，负责相应软件模块的设计开发；

2.根据开发规范和流程独立完成模块的设计、编码及相关文档；

3.服务器环境的搭建和系统的部署等。

4.协助编写需求文档，编写概要设计文档、详细设计文档、数据文档等相关文档。

5.能够参与系统架构设计、性能优化、重构的讨论及给出解决方案的建议。

任职要求：

1、计算机或相关专业背景，大专以上学历，2年以上工作经验。

2、精通一种或多种主流的关系型数据库如Mys m.gaokaobaba.com ql、Oracle。

3、熟练使用java编程语言，有良好的编程风格。

4、熟悉java的基础知识，如数据类型、集合、异常处理、多线程、缓存、事务等。

5、熟悉一种或多种nosql数据库，如Mongodb、Redis。

6、熟练使用Spring、SpringMVC、Hibernate等常用后端框架。

7、熟悉linux等操作系统。

8、熟悉SpringBoot框架。

9、熟悉微服务架构。

10、熟悉数据结构、设计模式、UML等知识。

11、熟悉一种或多种消息队列如RocketMQ、Kafka。

大数据开发工程师的岗位职责 篇八

职责：

1、根据公司的业务需要，负责业务系统的核心模块的设计和开发工作；

2、web项目执行；按照项目管理流程，参与研发部门的总体设计评审；

3、承担部分新技术试验和研究，并应用到公司产品中，独立解决开发中遇到的问题；

4、进行详细设计、代码开发，配合测试，高质量完成项目；

5、负责公司门户网站、商城、微信小程序小游戏等相关项目的开发维护工作。

任职要求：

1、大专以上学历，1-3年左右开发经验，计算机相关专业，有PHP项目开发经验；

2、熟悉WEB开发流程，熟练应用PHP+MySQL,PHP+MSSQL进行独立开发，熟悉数据库设计；

3、熟悉MVC设计模式，精通 MYSQL维护管理，MySQL索引优化、查询优化；

4、熟练掌握缓存、静态化，代码安全开发等相关技术；熟悉大数据网站性能优化，具备规范的代码编写习惯以及良好的用户体验开发意识；

5、熟练使用HTML/CSS/JavaScript/Ajax/JQuery/XML等技术进行WEB应用开发，有团队协作精神；

6、精通数据接口对接与开发，有商城开发经验、微信小程序开发应用者优先。

大数据开发工程师的岗位职责 篇九

职责：

1、参与前端应用开发，包括Web及Mobile等产品，负责前端交互的实现；

2、与设计师、产品工程师紧密工作在一起，负责产出高质量的产品前端层；

3、能充分理解项目需求和设计需求，具有一定研发精神，能解决各种未知问题；

4、与团队成员分享经验和新技术，帮助团队成长。

任职要求：

1、 计算机、软件类专业，本科及以上学历；

2、 具有3年以上前端开发经验，精通HTML5、CSS3，熟练应用jQuery等框架；

3、对 MVC/MVMM 有一定的理解，熟练掌握 React/Redux 或者 Vue/Vuex 或者 AngularJS，有中大型H5项目开发经验者优先；

4、熟悉移动端web开发，能解决各种手机平台兼容性问题，有webapp、微信公众号、小程序开发经验者优先；

5、关注技术前沿，善于利用各种工具提升自己与团队的开发效率；

6、良好的沟通表达能力，具备很好的团队协作精神；

7、善于学习新的知识，热爱技术，动手能力强，有进取心。

大数据开发工程师的岗位职责 篇十

职责

1、负责基于hadoop/spark生态系统、亿级别数据的全文检索，搜索引擎的产品研发；

2、基于海量用户行为数据和其他数据，分析和研究数据与实际业务的关联关系，并与实际业务应用相结合开发；

3、负责大数据分析需求设计和开发，承担数据抽取、清洗、转化等数据处理程序开发。

任职要求：

1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技术及其生态圈，具备相关项目开发经验，有数据实时计算项目经验优先；

2、有搜索引擎全文检索开发经验 ，如：elasticsearch、solr;

3、熟悉python、R任意一门开发语言；

4、有SAAS，PAAS企业级应用平台或者互联网，金融等大型应用平台开发经验优先考虑；

5、 本科及以上学历，计算机/软件工程/统计学/数学等相关专业，互联网/金融等行业3年以上工作经验；

6、拥有良好的代码习惯，要求结构清晰、命名规范、逻辑性强、代码冗余率低，代码注释清晰；

7、熟悉使用svn，禅道等项目管理工具，有良好的团队协作开发经验。

它山之石可以攻玉，以上就是差异网为大家带来的10篇《大数据开发工程师的岗位职责》，希望可以对您的写作有一定的参考作用。