浅谈携程在大数据平台构建中遭遇的挑战

2016年4月22日-23日，由CSDN重磅打造的数据库核心技术与实战应用峰会、互联网应用架构实战峰会将在深圳举行。
　　这是继3月中旬，SDCC之架构&数据库峰会在上海圆满收官后的再一次相聚。上海站上，18位技术讲师给超过500名的现场参会者带来了精彩分享，火爆程度超出主办方想象。
　　即将到来的SDCC深圳技术峰会讲师阵容强大，主办方邀请了来自于百度、阿里、腾讯、滴滴出行、携程、平安科技、AdMaster、华为、京东、唯品会、一号店、中国电信、阅文集团等公司的技术骨干、首席架构师来为与会者分享演讲和交流，必定是一场技术人的饕餮盛宴。【目前限时6折，点击这里抢票】
　　在即将到来的SDCC深圳技术峰会召开之际，由CSDN负责数据库技术领域的小编采访了一些参会讲师，谈谈他们将在本次活动所分享的内容。
　　
　　携程大数据平台负责人 张翼
　　本期我们采访的讲师是来自携程大数据平台负责人 张翼，主要负责的是大数据平台。进入互联网行业近10年，从事大数据平台和架构的工作超过6年。对大数据的底层平台的构建和相关的技术有较为深入的研究，对于数据仓库和机器学习相关的技术也有所涉猎。
　　张翼将在SDCC 2016 深圳站之数据库峰会上分享的主题是 《携程实时大数据处理平台和实践 》，想要知道全部数据库技术峰会讲师情况和议题可参见：SDCC深圳站数据库/大数据专场讲师议题全公布。
　　以下是专访内容：
　　CSDN：首先请简单介绍下您和您所在的公司，以及目前所负责的领域。
　　张翼：我叫张翼，浙江大学毕业，最初的专业是信息管理，属于管理学院，由于喜欢在电脑上捣鼓些东西，也想比较系统地学习相关的知识，所以在大二下半学期的时候就转到了软件工程，真是“一入空门深似海”啊 ，研究生毕业之后在Ebay中国研发中心和大众点评工作过，目前担任携程大数据平台的负责人，现在看来在互联网行业打拼也有近十年时间了。
　　携程大家应该是蛮熟悉了吧，全国领先的OTA平台，旅游出行相关的都可以在上面一站式的完成，从酒店和机票的预订到火车票和汽车票，租车等，只要你能想到的和旅行相关的所有东西，在携程上都可以轻松实现。
　　目前我在携程主要负责的是大数据平台，是携程数据的基础架构和工具；包括底层计算和存储平台，也包括上层数据应用相关的平台和工具。
　　CSDN：您有将近10年的互联网从业经验，想问下您是如何走上这条技术之路的？
　　张翼：前面也提到了，大学时比较喜欢计算机，所以就选择了软件工程这个专业。最后就沿着这条路一直走下来了，可能源于本身对于互联网和技术比较感兴趣吧。
　　CSDN：作为携程大数据平台的负责人，你带领的团队在对大数据平台的构建过程中，遇到了哪些技术难点和挑战呢？
　　张翼：在整个平台构建的不同阶段，遇到的挑战是不同的，最初的阶段是平台的稳定性，包括底层计算和存储平台（Hadoop / Hive / HBase）的稳定性以及上层自研发系统，如调度平台，报表平台的稳定性；对于前者需要有技术投入，对开源系统要有源码级的理解，至少能够在解决遇到的问题时做到临危不乱，有路可循；另外就是一个好的运维自动化和监控的体系和工具是非常有帮助的；对于自研的系统，一开始的设计一定要做好，一个正确的假设，好的设计对稳定性至关重要。
　　在稳定性的问题初步解决之后，我们面临的挑战就是如何紧密结合业界的发展和公司实际的需求，真正将一些好用的框架落地下去，支持公司数据分析和挖掘的需求是一个很大的挑战，我的经验是一开始的时候面不能铺的太开，想要面面俱到往往各个方向的效果都不是那么理想，结合目前技术大的趋势和公司最迫切的需求，选择1-2个方面，以实际业务能落地的例子开始尝试，往往能够取得比较好的效果。
　　CSDN：我们都知道，携程是国内领先的在线票务服务公司，能否介绍下大数据的平台构建给携程带来了哪些好处？
　　张翼：大数据的应用现在已经深入携程的方方面面，从最为普通的数据报表到结合业务的复杂的机器学习的应用；数据已经深入到公司运行的方方面面；统一的大数据平台的构建给各个业务部门开发自己相关的数据应用提供了坚实的技术的保证，他们更多只需要关系于业务的逻辑的处理和分析，提高了整体数据开发的效率。
　　CSDN：那么，能否简单介绍下，携程大数据平台在未来的规划和发展方向又是什么呢？
　　张翼：在技术上，首先我们准备更多地拥抱Spark，目前Spark主要的使用场景还是集中在机器学习相关的方面，未来我们会尝试在ETL等方面尝试使用Spark（或是Hive on Spark），以获得更高的计算效率，另外，在实时方面Spark 2.0之后，它的实时模型得到了很大的进化，我们会考虑将它作为实时计算引擎之一引入我们的实时计算平台；其次，我们会关注一下其他开源的“新”项目，如Kudo，Flink，希望和现在的平台结合给携程的数据使用和分析的同学提供更多可能。
　　除了在技术上的提升，我们也希望在一些特定的领域把一些经验和知识通过程序固化下来，开发相对通用的业务支持的平台和数据产品，更好地服务公司的业务。
　　CSDN：回顾您在互联网这个行业从业以来，有哪些心得和体会可和我们分享的？
　　张翼：和大家分享一下一点我的体会吧，就是不满足现状，不断尝试新的东西，提高自己各方面的能力；工作进行了一段时间之后，大家总会进入一个舒适区，在这些时候你可以考虑下，这是不是你所追求的，你是否还能做得更好或是更多，这样你就会尝试去学习新的东西，尝试新的领域，开始去寻找新的挑战，不需要把自己逼得太急，可以按照自己的节奏去进行，只要这样做一段时间之后就一定会有收获，不满足的初心非常重要。
　　CSDN：您认为要想成为一名优秀的技术人员身上该具备哪些素质？
　　张翼：首先最重要的是对技术要有激情，有热情，能够主动去学习自己感兴趣的技术，做深做透。
　　其次是基础需要过硬，如掌握至少的语言，对于计算机学科的相关知识，如操作系统，数据结构与算法，设计模式等能够熟练掌握。
　　再次就是沟通协调，项目管理等软性能力，以及个人管理的一些技能，如时间管理的能力
　　哈哈，有点说的像是招聘的JD。
　　CSDN：在本次SDCC 2016（深圳站）数据库峰会上，您分享的话题是？
　　张翼：在本次的数据库峰会上，我分享的话题是携程实时计算平台的实践；我将会和大家分享一下我们是如何一步一步构建起实时分析的平台，我们现在调研的方向和工作，以及未来的方向。
　　CSDN：您最期待在SDCC 2016（深圳站）峰会上看到哪些内容？
　　张翼：非常高兴能够有幸被邀请参加这次的峰会，第一天大数据相关的内容也是干货满满，希望和广大同行多多交流，互相学习。