大数据时代带来了哪些时代大变革

　　近来，“大数据时代”的来临己成为媒体关注的热门话题。大数据也似乎在一夜之间闯入了任何一个关于互联网未来的讨论，成为一个炙手可热无所不包的概念。最近刚结束的大连2013夏季达沃斯世界经济论坛还为“大数据时代” 的来临作了专题讨论。无论人们对此持有何种观点，但下列结论是共同的：“大数据时代”的来临己成为不争的事实，大数据作为一种新的资源，己对人们生活、企业商业活动以及政府公共管理带来了深远的变革。

　　大数据时代的来临，带给我们众多的冲击，每个人都应当与时俱进、不断提升，放弃残缺的守旧思想，大胆接受新的挑战。

　　什么是大数据？

　　国际数据公司定义了大数据的四大特征：海量的数据规模（vast）、快速的数据流转和动态的数据体系（velocity）、多样的数据类型（variety）和巨大的数据价值（value）。仅从海量的数据规模来看，全球IP流量达到1EB所需的时间，在2001年需要1年，在2013年仅需1天，到2016年则仅需半天。全球新产生的数据年增40%，全球信息总量每两年就可翻番。

　　而根据2012年互联网络数据中心发布的《数字宇宙2020》报告，2011年全球数据总量已达到1.87ZB（1ZB=10万亿亿字节），如果把这些数据刻成DVD，排起来的长度相当于从地球到月亮之间一个来回的距离，并且数据以每两年翻一番的速度飞快增长。预计到2020年，全球数据总量将达到35～40ZB，10年间将增长20倍以上。

　　需要强调的是：所谓大数据并不仅仅是指海量数据，而更多的是指这些数据都是非结构化的、残缺的、无法用传统的方法进行处理的数据。也正是因为应用了大数据技术，美国谷歌公司才能比政府的公共卫生部门早两周时间预告2009 年甲型H1N1流感的暴发。

　

　　大数据的产生以及特点

　　当今世界大数据时代己经来临。什么是大数据？就像当今世界涌现出来的能描述大变局的概念一样，大都率先出现在欧美社会，进而传播到全世界。“大数据” 的概念出现与流行也是如此。

　　顾名思义，大数据就是大量的数据或者说海量的数据。现代社会从1941年诞生第一台电子计算机以来，信息技术得到空前迅猛地发展。这种发展的内在驱动力是将阳光下所有的事物都“数据化”。 目前，伴随着互联网Web2.0、物联网、手机、GPS和光电感应器等技术和硬件出现，数据如井喷一样大量涌现。有资料显示，1998年全球***平均每月使用流量是1MB（兆字节），2000年是10MB，2008年是1GB（1GB等于1024MB），2014年将是10GB。我国***数居世界之首，3G手机拥有者达4.2亿，每天产生的数据量居世界前列。

　　当然，仅仅从量的角度来理解大数据是远远不够的。麦肯锡全球研究所报告《大数据：创新、竞争和生产力的下一个前沿》对“大数据”的含义进行了界定：大数据是指大小超出了传统数据库软件工具的抓取、存储、管理和分析能力的数据群。对于这样一个定义，我们还可以从大数据4V特点加以理解。所谓4V（Volume 、Variety、 Velocity 、Value）是由描述大数据特性的四个英文词的字首字母所形成的：

　　一是数据量巨大（Volume），数据已从 TB 级别跃升至 PB 级别；

　　二是数据类型多样化（Variety），有网络数据、企事业单位数据、政府数据，网络数据又有媒体数据（比如社交网络、博客、微博等）、日志数据（比如搜索引擎，大家上网等等都会留下很多足迹）、还有富媒体数据（视频、音频等等），类型纷繁，已无规律可循，其中非结构化数据所占比例逐年增大；

　　三是密度低而价值大（Value），以视频为例，在连续不间断监控过程中，可能有用的数据也许只有一两秒，即所谓密度低，是对大量的数据通过“沙里淘金” 的数据挖掘，可是里面又藏着巨大的价值；

　　四是处理速度快（Velocity），及时分析对某些应用才更有意义，及时处理已经成为趋势之一，业内的“一秒定律”认为，各种处理必须在1秒钟内完成高速实时处理。

　　从大数据的本质上来说，“大数据”所代表的是当今社会所独有的一种新型的能力，通过对海量数据进行分析，获得有巨大价值的产品和服务，获取更深刻的洞察力。在大数据时代，数据已经成为一种新的经济资产类别，就像货币或黄金一样。

　　

　　二、“大数据” 对当今社会带来的巨大变革

　　（一） 大数据将丰富甚或根本上改变人类探索未知世界的方式、思维方法与人的行为方式

　　在小数据和模拟数据时代，人们总是强调“为什么” 来认识世界。物理、化学等自然科学里，科学家要在实验室通过反复试验来检验理论或定律为什么是正确的；天文学、经济学等学科则根据理论来推测现象，或根据历史数据来验证。只有理论与数掂验证一致，才算揭示了现象背后的因果关系，才算回答“为什么”。

　　在大数据时代，人们更多强调的是“是什么” 的问题，也就是寻找事物背后的相关关系。譬如说，研究人员利用大数据，不是试图弄懂发动机抛锚或药物副作用消失的确切原因，研究人员可以收集和分析大量有关此类事件的信息及一切相关素材，找出可能有助于预测未来事件发生的规律。加拿大的研究人员正在开发一种大数据手段，以便能在明显症状出现之前发现早产婴儿体内的感染。通过把包括心率、血压、呼吸和血氧水平等16种生命体征转化成每秒1000多个数据点的信息流，他们已经能够找到极其轻微的变化与较为严重的问题之间的相关性。也就是研究人员与医生关注相关关系胜过因果关系。

　　在大数据时代，人的行为方式也将发展某种程度的变化。以往一般都是先想好要解决什么问题，再去获取相应的信息；而到了大数据时代，思维方式就变成了先尽可能多地占有信息，遇到问题时再从这海量信息中去“挖掘”解决方案。这两者的区别就像普通相机与光场相机（light field）的区别。据美国科技博客网站Venturebeat的报道，2012年3月，美国硅谷创业公司Lytro开发的光场相机正式上市。与普通相机不同，光场相机可以在拍摄完照片之后再对焦，具体生成的照片聚焦在什么位置，可以在拍摄完成之后根据需要再决定。

　　（二）大数据正在极大地改变企业经营的方方面面，一场新的商业革命已经来临

　　第一，大数据正在改变企业的营销手段。企业的传统营销手段是集中推销和各种广告宣传，更原始的办法是用大量的劳动力发传单推销产品。比如说我们今天在公交车站拿到的各种各样***推销广告就是如此。而在大数据的时代，企业可以充分利用大数据进行精准高效与低成本营销。著名的亚马逊公司在此方面做出了开拓性偿试。当你在网上挑选某一类图书时，亚马逊除了不能像在书店实体翻书以外，其它方面服务与书店无异。重要是，亚马逊通过大数据能时实知晓购书者的偏好，精准推荐相关图书，方便消费者选购，扩大销售量。由于它的创新和独特营销模式，亚马逊己成为全球商品品种最多的网上零售商和全球第二大互联网公司。 　　第二，大数据将为企业拓展广阔的新型服务与渠道。例如，日本先进工业技术研究所的科学家通过在汽车座椅下部安装压力传感器，把人体屁股特征转化成数据，然后把数据进行量化后做成能识别车主的防盗系统。有了这个系统后，如果架驶员不是车主，系统就会要求司机输入密码，如密码不对，汽车会自动熄火。这种能把一个人的坐姿数据化后，则预示着一些切实可行的服务和一个前途光明的产业。比如说，通过汇集数据，利用故事发生之前的坐姿变化情况，分析出坐姿和行驶安全之间的关系。同时，通过汇集数据，可以发现汽车被盗以及盗贼身份。

　　第三，在大数据时代，企业管理决策越来越受到大数据的分析和预测功能的影响。以美国网飞公司（Netflix）成功推出全球首部网络剧《纸牌屋》为例。网飞公司是世界上最大一家在线影片租赁提供商，并非传统的影视制作公司，为什么能首次推出一部作品就能获得第65届艾美奖最佳导演和最佳选角两项大奖呢？个中原因是大数据在公司决策过程中起了关键性作用。无论是《纸牌屋》剧本的挑选，还是导演、演员的选定，网飞公司都是根据其庞大的用户数据库作为科学决策的依据，依靠数据分析抓住观众的喜好。《纸牌屋》推出之后，迅速成为美国各大社交网站的热门话题，其明星效应使得该剧的口碑、点播率大获成功。《纸牌屋》进入***后，首先在美剧迷中掀起交流高潮，继而由美剧迷在网络中发起的分享行为进行扩散。所有这些都是对传统影视公司商业模式的一种颠覆，也成就一个网站主导、数据先行的商业传奇故事。

　　（三）大数据对公共部门的服务与管理也将带来极大的变革

　　实事表明，大数据在政府和公共服务领域的应用，可有效推动政务工作开展，提高政府部门的决策水平、服务效率和社会管理水平，产生巨大社会价值。2009年，谷歌公司通过把 5000万条美国人最频繁检索的词条和美国疾控中心在2003年至2008年间季节性流感传播时期的数据进行比较，成功预测了当年甲型H1N1流感的爆发及其传播源头，远早于疾控中心官方。

　　还有，大数据能够提高安全保障能力。大数据在国防、反恐、安全等领域的应用，将对各部门搜集到的各类信息进行自动分类、整理、分析，有效解决情报、监视和侦察系统不足等问题，提高国家安全保障能力。2013年4月15日，美国马萨诸塞州波士顿发生了***世界的马拉松爆炸案，相关调查机构通过采集案发现场附近10TB左右的数据（其中包括移动通信基站上的电话通讯记录，附近商店、加油站、报摊的监控录像，以及志愿者提供的图片和影像资料），从而迅速锁定并令犯罪嫌疑人现形。

　　另外，通过收集数据，进行车流量的统计，再进一步对这些数据进行分析就能够将交通信息可视化，对同时段不同区域拥堵原因做出分析，这种分析为如何规划道路，是拓宽还是改道提供了参考的标准。大数据的应用一方面通过预警疏散交通压力，一方面为合理规划提供参考，双管齐下，交通难题的解决就轻松不少。

　　最值得一提的是，联合国（微博）已经推出了名为“全球脉动”（Global Pulse）的新项目，希望利用“大数据”来促进全球经济发展。联合国将进行所谓的“情绪分析”，使用自然语言解密软件来对社交网站和文本消息中的信息作出分析，用来帮助预测某个给定地区的失业率、支出削减或是疾病爆发等现象，其目标在于利用数字化的早期预警信号来提前指导援助项目，以阻止重新陷入贫困等困境。

　　

　　三、大数据带来的挑战与启示

　　（一）大数据将使地球上所有人的隐私权受到挑战

　　随着互联网、移动互联网快速发展和3G手机的普及，我们每个人几乎每时每刻都在产生数据，而这些数据不再私有、不再神秘。也就是说只要我们上网和使用手机，我们的相关数据在毫无知晓的状态下被一些大数据公司收集。有人说iPhong就像一个“移动间谍” 是有道理的，因为它在用户不知情的情况下收集位置和无线数据后传回苹果公司，其它谷歌安卓系统和微软windows系统手机也都是一样的。当数据形成资源体现价值时，地球人所面临的共同问题是如何保护自己的隐私权。

　　这一棘手的问题，在具有强调集体轻个人的传统的***，个人的隐私将会受到更大的威胁；即使是在具有完备法律保护隐私权的西方，面对大数据时代的到来，也颠覆了当下隐私权保护法以个人为中心的思想。特别是数据价值与作何用途，既使是收集者也无法事前告知，这是因为海量数据经过大数据挖掘，就会产生许多意想不到的新用途。因此，如何完善隐私权的法律体系与提高保护个人隐私权的伦理道德水平，成为了在大数据时代下夯实保护人类尊严和个人***的基石。

　　（二）***应尽早确立大力发展大数据的战略地位

　　2012年瑞士达沃斯论坛上发布的《大数据大影响》报告称，数据已成为一种新的经济资产类别，就像货币或黄金一样。美国在大数据发展与应用方面已经形成较为普遍的共识，奥巴马政府已把“大数据”上升到国家战略层面。2012年3月29日，奥巴马政府宣布启动《大数据研究和发展计划》，同时组建“大数据高级指导小组”，涉及美国国家科学基金、国家卫生研究院、能源部、国防部等6个***部门，宣布将启动2亿美元的投资计划，提高从大量数据中访问、组织、收集发现信息的工具和技术水平，这使得美国成为全球首个将大数据从商业行为上升到国家意志和国家战略的国家。奥巴马政府认为，大数据是“未来的新石油”，一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分，未来对数据的占有和控制甚至将成为继陆权、海权、空权之外国家的另一个核心资产。

　　英国政府从2011年11月就发布了对公开数据进行研究的战略政策，英国的目标不只是要成为世界首个完全公布政府数据的国家，英国还应该成为一个国际榜样，去探索那些公开数据在商业创新和刺激经济增长方面的潜力。2012年5月英国政府建立世界上上首个开放式数据研究所ODI（The Open Data Institute ），标志着英国政府研究和利用开放式数据方面的一次里程碑式发展。 　　我国要发展好、应用好大数据，应把大数据产业上升到战略高度，强化全民数据意识，树立以数据提高效率、提升精细化和智能化水平的意识，从国家层面推动大数据的收集、分析和应用。2012年5月，我国召开第424次香山科学会议，这是我国第一个以大数据为主题的重大科学工作会议目前已有迹象表明，大数据将成为国家优先发展战略。

　　（三）大数据时代要求政府开放数据，提供公开透明与更优质的公共服务

　　大数据发展的障碍，在于数据的流动性和可获得性。在开放数据的历史潮流中，美国是走在最前列的国家。2009年1月，奥巴马总统入主白宫后，第一件事就是要求***各部门通过“一站式”政府数据下载网站（www.data.gov）向社会公开各类非保密的数据库。2010年，美国国会通过更新法案，进一步提高了数据采集精度和上报频度。截至目前，data.gov上有超过40万种各类原始数据文件，涵盖了农业、气象、金融、就业、人口等近五十个门类，汇集了数千个应用程序和软件工具。数据的集中、开放、共享及对数据的应用支持，极大地方便了美国各界对大数据的利用。2010年9月23日，奥巴马总统在***发言，其目的是把“建立前所末有开放政府”的理念推进到国际社会。2011年9月20日，美国、挪威、墨西哥等八个国家在纽约集会，宣布成本“开放政府联盟”（OGP），并发布了《开放政府宣言》。

　　截至目前己有60个国家和地区加入了该联盟。迄今***仍没有加入，这种状况与我国已是世界第二大经济体的地位是极不相称的。开放政府不仅是融入国际大趋势的需要，也是解决政府改革相对滞后与国内尖锐矛盾的有效途径。当前我国政府面临着政务公开、决策科学***、公信力低下和官员***等诸多深层的问题，在大数据时代已经到来的今天，政府只有通过开放数据，才能有效解这些深层次矛盾。

　　（四） 大数据时代呼唤弘扬人类社会的数据文化

　　所谓数据文化，就是尊重事实、推崇理性、强调精确的文化。由于文化传统、经济发展滞后与现实的政治等因素，导致***数据的公信力弱、质量低，数据定义的一致性差等一些无容否认的事实。2008年经济学诺贝尔奖得主克鲁格曼曾抱怨，他能看得懂日本经济数据，却看不懂***数据，言下之意是质疑***数据的可信度。面对大数据时代的来临，政府应该首先垂范发挥主导作用，并在公共领域推行数据治国的理念。

　　尽管我们有深入群众、实地考察的工作传统，但在公共决策过程中，我们还要依靠系统的数据进行科学决策，而不是凭个人经验和长官意志。也就是说，政府在决策过程中，要系统收集数据，依靠数据进行科学决策，杜绝主观主义和***的作风。与此同时，政府应加大数据治国的舆论宣传，将数据的知识纳入公务员的常规培训体系之中，力争在全社会形成“用数据来说话、用数据来管理、用数据来决策、用数据来创新”的文化氛围和时代特点。

　　（五） 大数据时代创新型人才是竞争取胜的关键

　　大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。因此，处理大数据的创新型复合人才是企业、国家在竞争中制胜的关键。据盖特纳咨询公司预测，大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万，缺口14万—19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。

　　***人口世界第一，不仅拥有巨大海量的大数据，而且是人才大国，但能理解与应用大数据的创新人才更是稀缺资源。与美欧相比较，***在这两方面都有相当大的差距。尽管美国这样的科技人才大国强国也存在着大数据专业人才稀缺的问题，但我们应清醒认识到，美国具有完备的思想市场与世界最发达的教育体系。一方面美国可以吸引全世界最优秀学生前来求学，另一方面也能吸引欧盟、俄罗斯、印度和***等国的大批数学家和统计学家去美国工作。因此，美国在创新型人才方面具有巨大优势。反观***，我们在思想市场和教育体制两方面都差强人意，特别是我国中小学应试教育体制严重落后于大数据时代的需要，因为这种教育体制只能培养与机械工业相适应的应用型科技人才和熟练工人，不能大批地培养出具有开拓精神的创新型人才。面临大数据时代带来的机遇与挑战，我们有理相信，加快***的教育和人才培养模式的改革加快培养适应大数据时代需要的创新型人才，是实现中华民族复兴大业的重要基础。