目前数据工程师已经出现在各种招聘上,很多人容易将数据工程师和数据科学家职位弄混淆。接下来我们将探讨这两个职位间的区别与联系,并分析企业在何种情况下需要其中一个,或两个都需要。
大家一直对数据科学家,数据工程师和统计分析师之间的概念是混淆的。而甚至有一些结论,是认为所有这些人做同样的工作,只是他们的称谓不同而已。我特别惊讶于听到这种答案,下面帮助大家了解数据科学家vs数据工程师的工作角色。这将帮助大家在未来的工作中选择最适合你们的工作角色。
数据科学家所具备的技能更专注于数学方法和数据分析,而数据工程师的重点是数据挖掘,云计算和编程技能。数据工程师致力于开源大数据的管理。一位数据库行业资深观察者说道,在他最近的一次硅谷之旅中,他发现,在这个作为大数据温床的地方,数据工程师这个术语已经被广泛使用。
数据工程师这个职位的产生,有部分原因是由于人们对数据科学家的能力预期过高。而现实是,数据科学家的工作描述所涉及的技能太过于宽泛。搭建数据处理集群、程序编码,学习最新的开源数据api。这些都被归结为数据科学家必须掌握的技能之一,但事实上,它们应该是数据工程师的职责范围。
工作职责
数据科学家:1、根据商业需要规划和实施数据分析项目;2、致力于数据挖掘架构、模型标准、数据报告、数据分析方法;3、与利益相关人合作在现有的数据系统中集成数据挖掘结果;4、监督数据挖掘系统性能并实施优化和改进。
数据工程师:1、设计、搭建、安装、测试和维护大规模数据管理系统;2、改进数据基础设施、业务流程和数据标准;3、在现有体系架构中集成新的数据管理技术和软件工具;4、开发用户侧软件和数据分析应用程序。
必备掌握技能
apache hadoop,分布式计算和nosql数据库,是数据工程师必须掌握的几个重要技能。
对于数据科学家而言,其掌握的技能应包括数据统计,统计建模,预测建模和机器学习等。
薪资待遇
但总的来说,数据工程师并没有得到与数据科学家同等的薪资待遇。例如,据招聘网站glassdoo统计,全国数据工程师的平均工资大概为95526美元,而全国数据科学家的平均薪水是113436美元。
当然,也有例外情况,有的数据工程师薪酬可能会突破100000美元。尽管dice宣称并没有足够的样本数据来评估数据工程师薪水,但melk指出了掌握类似技能人员的年薪水平,比如cassandra(147811美元),pig(132850美元)和mapreduce编程(131563美元)。这表明数据工程师的薪资可以很容易超过100000美元这个水平。
职业方向:
初级数据科学-->数据科学家-->高级数据科学家-->首席数据科学家
数据工程师-->高级数据工程师-->bi架构师-->数据架构师
数据工程师和数据科学家的工作现在包含一些混合和重叠的技能。这是在任何新领域或新趋势上都存在的现象。数据工程师目前发展似乎处于上升阶段,毫无疑问的是,数据工程师的出现,表明数据管理领域一直都在发生变化。