随着智能设备的普及,全世界在2010 年的信息量已达ZB 级别,预计2020 年将,上升到35ZB,大数据时代已经来临,如何快速准确地挖掘出潜在的价值信息变得越来越重要。数据挖掘技术已经发展多年,但发展速度赶不上信息量的爆炸式增长,现有的算法在处理大数据时显得力不从心,如Apriori 算法需多次检索原数据库,容易造成I/O 开销,FPGrowth 算法在迭代挖掘频繁时,产生的子树结构太多,不利于大数据挖掘。因此根据大数据环境的特点,研究相应的数据挖掘算法变得十分的迫切。本文基于Hadoop 平台,对PrePost 算法进行改进,提出一种基于Hadoop 平台的大数据挖掘算法MRPrePost,该算法能够适应大数据关联规则挖掘,计算速度快,为大数据时代下的数据挖掘技术研究提供一种新思路。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
全部0条评论
快来发表一下你的评论吧 !