关于大数据的数学基础和大数据的利弊分析

（文章来源：网络整理）

什么是数据？数据有狭义和广义之分。狭义的数据就是我们说的一些数字，比如我们学习过程中的物理、化学等实验数据，国家GDP等各种统计数据。广义的数据包括任意形式的信息，比如我们每个人的个人的姓名、年龄、家庭情况、学历等基本信息，还包括我们所能记录和查询的所有信息，如图纸、视频、音频等。

我们所要谈论的是广义上的数据。数据不仅在科学研究中，而且在生活的方方面面都很重要，它已经成为我们日常决策的重要依据。数据可以说伴随真我们的一生。远古时代的结绳记事等就是最原始的数据传递方式。人类的文明与进步，从某种意义上讲是通过对数进行收集、处理和总结而达成的。

“大数据”是怎么一回事呢？它就是我们字面意思理解的“大量的数据”吗？如果不是，这两者又有什么联系和区别呢？大数据是随着信息技术的发展而兴起的，当数据的计算和存储不再是问题时，人们发现超大量的数据会给我们决策带来惊喜，这才有了更多的人研究和应用大数据。

首先，大数据的数据量肯定是非常大的，但光是量大还不能称之为大数据。比如我们做结构有限元分析的实验数据，往往计算过程就需要几天甚至几周，数据量也很大，但是不能算是大数据。大数据对数据最基本的要求是数据的多维度和完备性，要将原本看似毫无联系的事物联系起来，达到对事物全方位的完整描述，以便做出更科学的决策。

与数据相比，大数据的核心就是大数据是对收集掌握的各个维度的数据的再处理和分析。没有经过科学收集和处理的数据只是客观存在，大数据可以理解为是一种决策能力的体现。

大数据（big data，mega data）或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值密度）、Veracity（真实性）。

理解了数据和大数据的联系和区别后，我们再来看看由数据到大数据应用过程和数学基础。有了数据之后，如何科学地使用数据，就要用到一门应用科学——统计学。

非数学专业在大学有一门课程叫《概率和统计》，但其实概率论和统计学虽然紧密相连，却是独立发展的。概率论是研究随机现象数量规律的数学分支；统计学是通过收集、整理、分析数据等手段，通过特定的数学模型和数学计算，以用来推测所测对象的本质，甚至预测对象未来的一门综合性科学。

比如我们在上篇文章中讨论的人工智能，数字人工智能中，如果没有足够多的数据供机器深度学习，得到的结果就会有很大的不确定性，那它跟仿生人工智能相比就不会有很大的进步。为什么数据要足够大且全面呢？举个简单的例子。

我们现在对着马路上的车辆进行统计，主要对国产和进口两个数据维度进行统计。如果半个小时之内，过去了100辆车，其中50台进口车，我们不能说进口车已经占50%，显然这个结论是有非常大的误差的。我们以这个调查来对但假如我们改变数据来源和数据的统计维度，从国家层面的车管所收集数据，比如2018年进口车占销量的4%，这个数据对企业决策就有比较大的参考意义。

这个例子比较特殊。如果数据具有代表性，统计量又足够，统计维度又比较科学，那么从这些数据中得到的统计结果，对我们的工作和生活就有意义，不然充其量就是大量的数据，而失去了数据存在的意义。

目前，大数据已经在我们生活中起着巨大的作用。政府层面：宏观经济调控、公共卫生安全防范、社会舆论监督、智慧交通管理；生活方面：医疗疾病风险跟踪、公司运营成本节省、售后服务质量提升、运输车辆的故障险情以提前预警维修、用户商品推荐和服务、个人旅游、二手市场买卖等等。

毫不夸张地说，大数据创造了一种新的生活和商业模式，给人们提供了前所未有的便捷，甚至在网络政务方面创造众多奇迹。大数据已经被当作一种核心资产和商业模式，被不同程度地进行着挖掘，随之带来了个人隐私和安全问题。

你刚刚搜索一个关键词，比如“手表”，你的浏览器甚至一些应用APP就开始频繁地向你推荐各类手表广告信息，难道你的手机这么懂你的“心思”？当然不是，你刚刚的搜索信息被收集并马上被应用到你的手机上了。是不是有点赤裸裸的感觉！个人信息安全相关法律法规亟需出台。大数据既带来了创新，也带来了挑战，数据的应用需要有一定的约束，需要相关法律法规进行有效地引导和管理。
      （责任编辑：fqj）