大数据开发岗位的几个方向

大数据开发岗位的几个方向

大数据开发分了几个方向： 1.底层的基础平台开发 2.面向用户的数据产品开发 3.数据仓库开发 4.大数据分析 5.算法，数据挖掘

一、基础平台开发：

Java 为主。主要做统一数据开发平台、大数据源码级别扩展优化、提供提升开发效率的工具、元数据管理、数据质量管理等。技能要求：Java，Zookeeper，Hadoop，Hive，Spark，Kafka等。

二、数据产品开发：

服务端 Java 为主，全部容器化管理服务。主要是数据报表平台、数据分析平台等。

三、数据仓库：

如果数据开发平台比较完善，一般以 sql 为主，不管是离线计算，还是实时计算，都只需要在数据开发平台上提交 sql 任务即可。更专注数据模型的建设，能够快速实现用户的数据分析需求。如果平台不够完善，实时计算可能还是需要写代码，scala 为主。技能要求：数据建模、报表开发、理解业务

四、数据分析：

sql为主。分析数据趋势，挖掘潜在价值。要求：数据分析技能➕Hadoop➕Hive➕部分Java

五、算法：

Scala，Python，R 。特征提取、算法模型的优化。要求：算法

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。