怎样成为合格的数据工程师

在通信、互联网、金融等这些行业每天产生巨大的数据量（长期更是积累了大量丰富的数据，比如客户交易数据等等），据说到2020年，全球每年产生的数据量达到3500万亿GB；海量的历史数据是否有价值，是否可以利用为领导决策提供参考依据？随着软件工具、数据库技术、各种硬件设备的飞快发展，使得我们分析海量数据成为可能。

而数据分析也越来越受到领导层的重视，借助报表告诉用户什么已经发生了，借助OLAP和可视化工具等分析工具告诉用户为什么发生了，通过dashboard监控告诉用户现在在发生什么，通过预报告诉用户什么可能会发生。数据分析会从海量数据中提取、挖掘对业务发展有价值的、潜在的知识，找出趋势，为决策层的提供有力依据，为产品或服务发展方向起到积极作用，有力推动企业内部的科学化、信息化管理。

我们举两个通过数据分析获得成功的例子：

（1） Facebook广告与微博、SNS等网络社区的用户相联系，通过先进的数据挖掘与分析技术，为广告商提供更为精准定位的服务，该精准广告模式收到广大广告商的热捧，根据市场调研机构eMarketer的数据，Facebook年营收额超过20亿美元，成为美国最大的在线显示广告提供商。

（2） Hitwise发布会上，亚太区负责人John举例说明： 亚马逊30%的销售是来自其系统自动的产品推荐，通过客户分类，测试统计，行为建模，投放优化四步，运营客户的行为数据带来竞争优势。

此外，还有好多好多，数据分析，在营销、金融、互联网等方面应用是非常广泛的：比如在营销领域，有数据库营销，精准营销，RFM分析，客户分群，销量预测等等；在金融上预测股价及其波动，套利模型等等；在互联网电子商务上面，百度的精准广告，淘宝的数据魔方等等。类似成功的案例会越来越多，以至于数据分析师也越来越受到重视。

然而，现实却是另一种情况。我们来看一个来自微博上的信息：在美国目前面临14万~19万具有数据分析和管理能力的专业人员，以及150万具有理解和决策能力（基于对海量数据的研究）的管理人员和分析人员的人才短缺。而在中国，受过专业训练并有经验的数据分析人才，未来三年，分析能力人才供需缺口将逐渐放大，高级分析人才难寻。也就是说，数据分析的需求在不断增长，然而合格的为企业做分析决策的数据分析师却寥寥无几。好多人想做数据分析却不知道如何入手，要么不懂得如何清洗数据，直接把数据拿来就用；要么乱套模型，分析的头头是道，其实完全不是那么回事。按俗话说就是：见过猪跑，没吃过猪肉。

近几年美国公布的相关数据分析中，薪酬最高、最吃香的行业中便有IT业。IT产业日益崛起，技术也被越来越多的人掌握，而往往最被看重的技能是：数据分析、风险管理、机器人技术、信息安全、网络技术。数据分析排名第一最受青睐。接收到这样的信号，一定有很多非专业人士也想成为数据分析师吧，如何速成数据分析师？下面的技能让你事半功倍。

一：理解数据库。

还以为要与文本数据打交道吗？答案是：NO！进入了这个领域，你会发现几乎一切都是用数据库来存储数据，如MySQL，Postgres，CouchDB，MongoDB，Cassandra等。理解数据库并且能熟练使用它，将是一个基础能力。

二：掌握数据整理、可视化和报表制作。

数据整理，是将原始数据转换成方便实用的格式，实用工具有DataWrangler和R。数据可视化，是创建和研究数据的视觉表现，实用工具有ggvis，D3，vega。数据报表是将数据分析和结果制作成报告。也是数据分析师的一个后续工作。这项技能是做数据分析师的主要技能。可以借助新型软件帮助自己迅速学会分析。

三：懂设计

说到能制作报表成果，就不得不说说图表的设计。在运用图表表达数据分析师的观点时，懂不懂设计直接影响到图形的选择、版式的设计、颜色的搭配等，只有掌握设计原则才能让结果一目了然。否则图表杂乱无章，数据分析内容不能良好地呈现出来，分析结果就不能有效地传达。

四：几项专业技能

统计学技能——统计学是数据分析的基础，掌握统计学的基本知识是数据分析师的基本功。从数据采集、抽样到具体分析时的验证探索和预测都要用到统计学。

社会学技能——从社会化角度看，人有社会性，收群体心理的影响。数据分析师没有社会学基本技能，很难对市场现象做出合理解释。

另外，最好还能懂得财务管理知识和心理学概况。这些都将会使你做数据分析的过程更容易。

五：提升个人能力。

有了产品可以将数据展示出来，还需要具备基本的分析师能力。首先，要了解模型背后的逻辑，不能单纯地在模型中看，而要放到整个项目的上下文中去看。要理解数据的信息，形成一个整体系统，这样才能够做好细节。另外，与数据打交道，细心和耐心也是必不可少的。

六：随时贴近数据文化

拥有了数据分析的基本能力，还怕不够专业？不如让自己的生活中充满数据分析的气氛吧！试着多去数据分析的论坛看看，多浏览大数据知识的网站，让自己无时无刻不在进步，还怕不能学会数据分析吗？

拥有这些技能，再去做数据分析，数据将在你手里变得更亲切，做数据分析也会更简单更便捷，速成数据分析师不再遥远。

有一位数据分析牛人曾经总结过数据分析师的能力和目标：

能力：一定要懂点战略、才能结合商业；一定要漂亮的presentation、才能buying；一定要有global view、才能打单；一定要懂业务、才能结合市场；一定要专几种工具、才能干活；一定要学好、才能有效率；一定要有强悍理论基础、才能入门；一定要努力、才能赚钱；最重要的：一定要务实、才有reputation；不懂的话以后慢慢就明白了。