关于大数据的75个核心术语下篇（50 个术语）

Ramesh Dontha 曾在 DataConomy 上连发两篇文章，扼要而全面地介绍了关于大数据的 75 个核心术语，这不仅是大数据初学者很好的入门资料，对于高阶从业人员也可以起到查漏补缺的作用。本文为下篇（50 个术语）。

下面来对上篇文章涵盖的术语做个简短的回顾：算法，分析，描述性分析，预处理分析，预测分析，批处理，Cassandra（一个大规模分布式数据存储系统），云计算，集群计算，暗数据，数据湖，数据挖掘，数据科学家，分布式文件系统，ETL，Hadoop（一个开发和运行处理大规模数据的软件平台），内存计算，物联网，机器学习，Mapreduce（hadoop 的核心组件之一），NoSQL（非关系型的数据库），R，Spark（计算引擎），流处理，结构化 vs 非结构化数据。

我们接下来继续了解另外 50 个大数据术语。

Apache：

软件基金会（ASF）提供了许多大数据的开源项目，目前有 350 多个。解释完这些项目需要耗费大量时间，所以我只挑选解释了一些流行术语。Apache Kafka：命名于捷克作家卡夫卡，用于构建实时数据管道和流媒体应用。它如此流行的原因在于能够以容错的方式存储、管理和处理数据流，据说还非常「快速」。鉴于社交网络环境大量涉及数据流的处理，卡夫卡目前非常受欢迎。

Apache Mahout：

Mahout 提供了一个用于机器学习和数据挖掘的预制算法库，也可用作创建更多算法的环境。换句话说，机器学习极客的最佳环境。

Apache Oozie：

在任何编程环境中，你都需要一些工作流系统通过预定义的方式和定义的依赖关系，安排和运行工作。Oozie 为 pig、MapReduce 以及 Hive 等语言编写的大数据工作所提供正是这个。

Apache Drill， Apache Impala， Apache Spark SQL：

这三个开源项目都提供快速和交互式的 SQL，如与 Apache Hadoop 数据的交互。如果你已经知道 SQL 并处理以大数据格式存储的数据（即 HBase 或 HDFS），这些功能将非常有用。抱歉，这里说的有点奇怪。

Apache Hive：

知道 SQL 吗？如果知道那你就很好上手 Hive 了。Hive 有助于使用 SQL 读取、写入和管理驻留在分布式存储中的大型数据集。

Apache Pig：

Pig 是在大型分布式数据集上创建、查询、执行例程的平台。所使用的脚本语言叫做 Pig Latin（我绝对不是瞎说，相信我）。据说 Pig 很容易理解和学习。但是我很怀疑有多少是可以学习的？

Apache Sqoop：

一个用于将数据从 Hadoop 转移到非 Hadoop 数据存储（如数据仓库和关系数据库）的工具。

Apache Storm：

一个免费开源的实时分布式计算系统。它使得使用 Hadoop 进行批处理的同时可以更容易地处理非结构化数据。

人工智能（AI）：

为什么 AI 出现在这里？你可能会问，这不是一个单独的领域吗？所有这些技术发展趋势紧密相连，所以我们最好静下心来继续学习，对吧？AI 以软硬件结合的方式开发智能机器和软件，这种硬件和软件的结合能够感知环境并在需要时采取必要的行动，不断从这些行动中学习。是不是听起来很像机器学习？跟我一起「困惑」吧。

行为分析（Behavioral Analytics）：

你有没有想过谷歌是如何为你需要的产品/服务提供广告的？行为分析侧重于理解消费者和应用程序所做的事情，以及如何与为什么它们以某种方式起作用。这涉及了解我们的上网模式，社交媒体互动行为，以及我们的网上购物活动（购物车等），连接这些无关的数据点，并试图预测结果。举一个例子，在我找到一家酒店并清空购物车后，我收到了度假村假期线路的电话。我还要说多点吗？

Brontobytes：

1 后面 27 个零，这是未来数字世界存储单位的大小。而我们在这里，来谈谈 Terabyte、Petabyte、Exabyte、Zetabyte、Yottabyte 和 Brontobyte。你一定要读这篇文章才能深入了解这些术语。

商业智能（Business Intelligence）：

我将重用 Gartner 对 BI 的定义，因为它解释的很好。商业智能是一个总称，包括应用程序、基础设施、工具以及最佳实践，它可以访问和分析信息，从而改善和优化决策及绩效。

生物测定学（Biometrics）：

这是一项 James Bondish 技术与分析技术相结合的通过人体的一种或多种物理特征来识别人的技术，如面部识别，虹膜识别，指纹识别等。

点击流分析（Clickstream analytics）：

用于分析用户在网络上浏览时的在线点击数据。有没有想过即使在切换网站时，为什么某些谷歌广告还是阴魂不散？因为谷歌大佬知道你在点击什么。

聚类分析（Cluster Analysis）：

是一个试图识别数据结构的探索性分析，也称为分割分析或分类分析。更具体地说，它试图确定案例的同质组（homogenous groups），即观察、参与者、受访者。如果分组以前未知，则使用聚类分析来识别案例组。因为它是探索性的，确实对依赖变量和独立变量进行了区分。SPSS 提供的不同的聚类分析方法可以处理二进制、标称、序数和规模（区间或比率）数据。

比较分析（Comparative Analytics）：

因为大数据的关键就在于分析，所以本文中我将深入讲解分析的意义。顾名思义，比较分析是使用诸如模式分析、过滤和决策树分析等统计技术来比较多个进程、数据集或其他对象。我知道它涉及的技术越来越少，但是我仍无法完全避免使用术语。比较分析可用于医疗保健领域，通过比较大量的医疗记录、文件、图像等，给出更有效和更准确的医疗诊断。

关联分析（Connection Analytics）：

你一定看到了像图表一样的蜘蛛网将人与主题连接起来，从而确定特定主题的影响者。关联分析分析可以帮助发现人们、产品、网络之中的系统，甚至是数据与多个网络结合之间的相关连接和影响。

数据分析师（Data Analyst）：

数据分析师是一个非常重要和受欢迎的工作，除了准备报告之外，它还负责收集、编辑和分析数据。

数据清洗（Data Cleansing）：

顾名思义，数据清洗涉及到检测并更正或者删除数据库中不准确的数据或记录，然后记住「脏数据」。借助于自动化或者人工工具和算法，数据分析师能够更正并进一步丰富数据，以提高数据质量。请记住，脏数据会导致错误的分析和糟糕的决策。

数据即服务（DaaS）：

我们有软件即服务（SaaS）， 平台即服务（PaaS），现在我们又有 DaaS，它的意思是：数据即服务。通过给用户提供按需访问的云端数据，DaaS 提供商能够帮助我们快速地得到高质量的数据。

数据虚拟化（Data virtualization）：

这是一种数据管理方法，它允许某个应用在不知道技术细节（如数据存放在何处，以什么格式）的情况下能够抽取并操作数据。例如，社交网络利用这个方法来存储我们的照片。

脏数据（Dirty Data）：

既然大数据这么吸引人，那么人们也开始给数据加上其他的形容词来形成新的术语，例如黑数据（dark data）、脏数据（dirty data）、小数据（small data），以及现在的智能数据（smart data）。脏数据就是不干净的数据，换言之，就是不准确的、重复的以及不一致的数据。显然，你不会想着和脏数据搅在一起。所以，尽快地修正它。

模糊逻辑（Fuzzy logic）：

我们有多少次对一件事情是确定的，例如 100% 正确？很稀少！我们的大脑将数据聚合成部分的事实，这些事实进一步被抽象为某种能够决定我们决策的阈值。模糊逻辑是一种这样的计算方式，与像布尔代数等等中的「0」和「1」相反，它旨在通过渐渐消除部分事实来模仿人脑。

游戏化（Gamification）：

在一个典型的游戏中，你会有一个类似于分数一样的元素与别人竞争，并且还有明确的游戏规则。大数据中的游戏化就是使用这些概念来收集、分析数据或者激发玩家。

图数据库（Graph Databases）：

图数据使用节点和边这样的概念来代表人和业务以及他们之间的关系，以挖掘社交媒体中的数据。是否曾经惊叹过亚马逊在你买一件产品的时候告诉你的关于别人在买什么的信息？对，这就是图数据库。

Hadoop 用户体验（Hadoop User Experience ／Hue）：

Hue 是一个能够让使用 Apache Hadoop 变得更加容易的开源接口。它是一款基于 web 的应用；它有一款分布式文件系统的文件浏览器；它有用于 MapReduce 的任务设计；它有能够调度工作流的框架 Oozie；它有一个 shell、一个 Impala、一个 Hive UI 以及一组 Hadoop API。

高性能分析应用（HANA）：

这是 SAP 公司为大数据传输和分析设计的一个软硬件内存平台。

HBase：

一个分布式的面向列的数据库。它使用 HDFS 作为其底层存储，既支持利用 MapReduce 进行的批量计算，也支持利用事物交互的批量计算。

负载均衡（Load balancing）：

为了实现最佳的结果和对系统的利用，将负载分发给多个计算机或者服务器。

元数据（Metadata）：

元数据就是能够描述其他数据的数据。元数据总结了数据的基本信息，这使得查找和使用特定的数据实例变得更加容易。例如，作者、数据的创建日期、修改日期以及大小，这几项是基本的文档元数据。除了文档文件之外，元数据还被用于图像、视频、电子表格和网页。

MongoDB：

MongoDB 是一个面向文本数据模型的跨平台开源数据库，而不是传统的基于表格的关系数据库。这种数据库结构的主要设计目的是让结构化数据和非结构化数据在特定类型应用的整合更快、更容易。

Mashup：

幸运的是，这个术语和我们在日常生活中使用的「mashup」一词有着相近的含义，就是混搭的意思。实质上，mashup 是一个将不同的数据集合并到一个单独应用中的方法（例如：将房地产数据与地理位置数据、人口数据结合起来）。这确实能够让可视化变得很酷。

多维数据库（Multi-Dimensional Databases）：

这是一个为了数据在线分析处理（OLAP）和数据仓库优化而来的数据库。如果你不知道数据仓库是什么，我可以解释一下，数据仓库不是别的什么东西，它只是对多个数据源的数据做了集中存储。

多值数据库（MultiValue Databases）：

多值数据库是一种非关系型数据库，它能够直接理解三维数据，这对直接操作 HTML 和 XML 字符串是很好的。

自然语言处理（Natural Language Processing）：

自然语言处理是被设计来让计算机更加准确地理解人类日常语言的软件算法，能够让人类更加自然、更加有效地和计算机交互。

神经网络（Neural Network）：

根据这个描述（http://neuralnetworksanddeeplearning.com/），神经网络是一个受生物学启发的非常漂亮的编程范式，它能够让计算机从观察到的数据中学习。已经好久没有一个人会说一个编程范式很漂亮了。实际上，神经网络就是受现实生活中脑生物学启发的模型。..。..。 与神经网络紧密关联的一个术语就是深度学习。深度学习是神经网络中一系列学习技术的集合。

模式识别（Pattern Recognition）：

当算法需要在大规模数据集或者在不同的数据集上确定回归或者规律的时候，就出现了模式识别。它与机器学习和数据挖掘紧密相连，甚至被认为是后两者的代名词。这种可见性可以帮助研究者发现一些深刻的规律或者得到一些可能被认为很荒谬的结论。

射频识别（Radio Frequency Identification／RFID）：

射频识别是一类使用非接触性无线射频电磁场来传输数据的传感器。随着物联网的发展，RFID 标签能够被嵌入到任何可能的「东西里面」，这能够生成很多需要被分析的数据。欢迎来到数据世界。

软件即服务（SaaS）：

软件即服务让服务提供商把应用托管在互联网上。SaaS 提供商在云端提供服务。

半结构化数据（Semi-structured data）：

半结构化数据指的是那些没有以传统的方法进行格式化的数据，例如那些与传统数据库相关的数据域或者常用的数据模型。半结构化数据也不是完全原始的数据或者完全非结构化的数据，它可能会包含一些数据表、标签或者其他的结构元素。半结构化数据的例子有图、表、XML 文档以及电子邮件。半结构化数据在万维网上十分流行，在面向对象数据库中经常能够被找到。

情感分析（Sentiment Analysis）：

情感分析涉及到了对消费者在社交媒体、顾客代表电话访谈和调查中存在的多种类型的交互和文档中所表达的情感、情绪和意见的捕捉、追踪和分析。文本分析和自然语言处理是情感分析过程中的典型技术。情感分析的目标就是要辨别或评价针对一个公司、产品、服务、人或者时间所持有的态度或者情感。

空间分析（Spatial analysis）：

空间分析指的是对空间数据作出分析，以识别或者理解分布在几何空间中的数据的模式和规律，这类数据有几何数据和拓扑数据。

流处理（Stream processing）：

流处理被设计用来对「流数据」进行实时的「连续」查询和处理。为了对大量的流数据以很快的速度持续地进行实时的数值计算和统计分析，社交网络上的流数据对流处理的需求很明确。

智能数据（Smart Data）：

是经过一些算法处理之后有用并且可操作的数据。

Terabyte：

这是一个相对大的数字数据单位，1TB 等于 1000GB。据估计，10TB 能够容纳美国国会图书馆的所有印刷品，而 1TB 则能够容纳整个百科全书 Encyclopedia Brittanica。

可视化（Visualization）：

有了合理的可视化之后，原始数据就能够使用了。当然这里的可视化并不止简单的图表。而是能够包含数据的很多变量的同时还具有可读性和可理解性的复杂图表。

Yottabytes：

接近 1000 Zettabytes，或者 2500 万亿张 DVD。现在所有的数字存储大概是 1 Yottabyte，而且这个数字每 18 个月会翻一番。

Zettabytes：

Zettabytes：接近 1000 Exabytes，或者 10 亿 Terabytes。
编辑：lyn