一位大数据工程师的成长之路

工作七年，跨度比较大，每当遇到困难的时候，我总是想起两句话：

1、受人之托、忠人之事

2、不论处于何种艰难的境地，人始终拥有选择自己态度的自由

希望同行和朋友们听完故事之后有所收获，这篇文章就没有耽误大家的宝贵时间。

我的本科专业是电气自动化，毕业之后被分到一个火力发电厂工作，同学们当时都觉得这个工作很不错，主要是因为工作稳定轻松，待遇也还行。

我到了火力发电厂之后，看到的是大家基本上五班三倒制工作期间都在打牌，然后就是讨论买房买车，看起来整个值班室没有什么朝气。

我一想，我人生还长，总不能这样打牌打一辈子，所以从火力发电厂辞职到了深圳。

刚到深圳的时候，什么技能也没有，为了能够生活好一点，我决定能学点什么。IT技术有个最大的好处就是，只要有个笔记本就有生产资料。我就买了一本C++primer自学C++。然后应聘到一个做自动化的公司做业务。

该自动化公司的主要产品是运动控制卡，支持MFC二次开发应用程序，因为我会解决一些软件问题，所以客户较为欢迎我的控制卡，我也从此走上软件开发的道路。

因为我本科专业是电气自动化，后来应聘到一家电气公司开发二次设备的软件。公司所在的行业是智能电网，需要经常出差去国网和南网调试程序。我当时主要负责的业务是研发一款设计电网的软件，所以和设计院打交道比较多，因为各个地方的设计方法和标准都不一样，所以该设计软件的开发遇到了很大的困难。

软件最能够解决的其实是标准化的问题，也就是定义明确，逻辑清晰地问题。我当时发现其实设计院之所以购买这款软件，并不是因为这个软件在设计电网的事情上能发挥多大的作用，而是和资质的审批有关系。比如甲级设计院以50万一套的价格购买软件，然后以20万一套的价格卖个乙级设计院，乙级设计院再以10万一套卖给丙级设计院。

其实每一级设计院购买软件主要是为了得到审批，在这个软件中有一个功能，叫做图纸审批，本质上是在生成的图纸中插入一个验证码，这个功能能够判断出来该验证码是否是相应的配套软件生成的。我当时有点失落，感觉我的技术在为社会做贡献上没有什么成就，反而成为了官僚啥的帮手。

这个时候整个工作状态是很不积极的，此时看书也看不进，学习什么都陷入了停滞。

上面写的第一句话起作用了：

1、受人之托、忠人之事

我受公司之托，客户支托来开发这个软件，就要忠诚于这个事情，要认真把这个事情做好，才能赢得尊重。另外一个是，我要把遇到的困难不能当成是我的一种负担，而是一个责任和动力。

为什么是动力，因为正是有这样的问题，所以这个地方才需要我，才需要我来解决，我就有相应的价值。

有人说你这个软件是没有价值的，这个时候就联系到第二句话

2、不论处于何种艰难的境地，人始终拥有选择自己态度的自由

如果把人生的意义理解为创造价值、体验价值、选择态度，那么其实很多时候是没法去创造价值的，但是我还有最后一条自由就是选择我在这个事情当中表现出来的态度。

包括在这很久之后，有很多同行和我说，做技术没有追求，没有前途。

我是这么看待这个问题的，很多人在说没有前途的时候，他做技术的灵魂就已经死了，系统之神授予他的火焰就已经熄灭了，因为他在做技术这个事情上没有态度了。

所以即使该软件推广的过程中遇到很多困难，我还是坚持下来直到版本稳定。

这个时间已经到了2014年年底，在此期间阅读了很多技术书籍，做过的工作也包含很多内容，包括MFC开发、unix后台开发、oracle数据库DBA等等，有些朋友觉得我还不错，我也经常帮忙解决各样的技术问题，积累了一些经验。

传统的软件开发做得多了，感觉到千篇一律。尤其是当时的公司系统主要难点并不在技术，而是业务很复杂也很专业。此时正直移动互联网兴起，我希望能够学到新的技术，就到另外一家公司给顺丰做数据库服务。

这之间以前电厂的同事问我：“现在国家去产能，因为电厂污染严重，面临裁员下岗，能不能出来找点事情做”。这个事情其实我是没有预料到的，我也觉得电厂其实待遇什么都很不错，我就说“你都在里面打了几年牌了，外面的社会怕有点适应不了”我这个时候感觉到的是：

我并非未卜先知这个行业发展趋势而离开电厂救了我，救我的是我不想留在电厂每天到晚这样度过的态度。

顺丰的数据量很大，也遇到了很多技术困难，印象中很深的是上线之前，垃圾桶里面很多红牛的易拉罐。

我对技术充满好奇，很想知道很多事情为什么，尤其是为什么会有这么一个东西，所以到一个地方学会一些本事，到的地方多了就把周围的东西多少学会了一些。

也是从2015年开始，我对大数据技术很有兴趣，想通过一些特别的方式解决类似顺丰这么大数据量的情况下，关系型数据库不能解决的问题。

我学习新技术有一些小的方法希望分享给大家：

1、世界上没有孤立的东西，一个技术的发明肯定有他的源头，比如在大数据技术中：

大数据有分布式文件系统HDFS，单机也有文件系统，大数据有数据库，单机有数据库，都是可以类比的

2、学一项新技术可以找一些相关比较权威的资料，然后大概翻阅之后了解他们主要讨论的是一些什么问题，这些问题定义如何，互相之间的关系如何。