×

PigPen Clojure的Map-Reduce

消耗积分:2 | 格式:zip | 大小:0.27 MB | 2022-06-13

李欢

分享资料个

授权协议 Apache
开发语言 Clojure Java
操作系统 跨平台
软件类型 开源软件
所属分类 云计算

软件简介

PigPen 是 Clojure 的 Map-Reduce,可以编译到 Apache Pig 或者 Cascading

代码:

(require '[pigpen.core :as pig])

(defn word-count [lines]
  (->> lines
    (pig/mapcat #(-> % first
                   (clojure.string/lower-case)
                   (clojure.string/replace #"[^\w\s]" "")
                   (clojure.string/split #"\s+")))
    (pig/group-by identity)
    (pig/map (fn [[word occurrences]] [word (count occurrences)]))))
 

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !