大数据处理的三大流程以及大数据的价值

工程师之余 发表于 2018-10-12 09:14:34 收藏 已收藏
赞(0) •  评论(0

大数据处理的三大流程以及大数据的价值

工程师之余 发表于 2018-10-12 09:14:34

大数据处理的三大流程流程

数据采集

定义:利用多种轻型数据库来接收发自客户端的数据,并且用户可以通过这些数据库来进行简单的查询和处理工作。

特点和挑战:并发系数高。

使用的产品:MySQL,Oracle,Hbase,Redis和 MongoDB等,并且这些产品的特点各不相同。

大数据处理的三大流程以及大数据的价值

统计分析

定义:将海量的来自前端的数据快速导入到一个集中的大型分布式数据库 或者分布式存储集群,利用分布式技术来对存储于其内的集中的海量数据 进行普通的查询和分类汇总等,以此满足大多数常见的分析需求。

特点和挑战:导入数据量大,查询涉及的数据量大,查询请求多。

使用的产品:InfoBright,Hadoop(Pig和Hive),YunTable, SAP Hana和OracleExadata,除Hadoop以做离线分析为主之外,其他产品可做实时分析。

大数据处理的三大流程以及大数据的价值

挖掘数据

定义:基于前面的查询数据进行数据挖掘,来满足高级别 的数据分析需求。

特点和挑战:算法复杂,并且计算涉及的数据量和计算量都大。

使用的产品:R,Hadoop Mahout。

大数据处理的三大流程以及大数据的价值

大数据的价值

如果从企业决策的角度来看,在任何行业,任何领域,通过推动数据化或大数据演算提升企业决策和企业战略实施的,仍然是人的大脑。唯一的区别是,从前依靠丰富的企业经验和信息整合能力来决策的领导层,如今依靠的是高性能并行的计算机处理技术来处理海量的数据集,分布式的演算出最终的战略决策。利用这样的科技,就可以大大提升领导决策的精准度和效率。

而其实大数据的作用已经不仅仅是为各类决策提供帮助,它甚至能够用海量的数据塑造个体,用户分析将不再适用,因为大数据甚至可以塑造用户。

大数据处理的三大流程以及大数据的价值

大数定理告诉我们,在试验不变的条件下,重复试验多次,随机事件的频率近似于它概率。“有规律的随机事件”在大量重复出现的条件下,往往呈现几乎必然的统计特性。数据本身不产生价值,如何分析和利用大数据对业务产生帮助才是关键。随着计算机的处理能力的日益强大,你能获得的数据量越大,你能挖掘到的价值就越多。

如果银行能及时地了解风险,我们的经济将更加强大。

如果医院能够更早发现疾病,我们的身体将更加健康。

如果电信公司能够降低成本,我们的话费将更加便宜。

如果交通动态天气能够掌握,我们的出行将更加方便。

如果商场能够动态调整库存,我们的商品将更加实惠。

从商业角度来看,从繁杂庞大的数据中挖掘、分析用户的行为习惯和喜好,研发出更符合用户偏好的产品和服务,并结合用户需求有针对性地调整和优化产品,以优化用户体验,最终获得商业利益,就是大数据在商业社会的价值。

抛开商业,利用大数据预测可能的灾难,利用大数据分析癌症可能的引发原因并找出治疗方法,都是未来能够惠及人类的事业。

最终,我们都将从大数据分析中获益。

大数据处理的三大流程以及大数据的价值

在大数据时代,不再依赖于采样的人们可以获得并分析更多的数据,更清楚地发现样本无法揭示的细节信息,随着计算机处理能力的日益强大,人工智能机器学习系统的不断升级,庞大的数据给人们带来的价值成倍攀升。

实验的不断反复、大数据的日渐积累让人类不断发现各种规律,从而能够预测未来。

收藏

相关话题
文章来源栏目
+关注

评论(0)

加载更多评论

参与评论

分享到

QQ空间 QQ好友 微博
取消