×

Sparser开源数据解析引擎

消耗积分:0 | 格式:zip | 大小:0.00 MB | 2022-06-23

张玉兰

分享资料个

授权协议 BSD
开发语言 C/C++
操作系统 Linux
软件类型 开源软件
所属分类 程序开发、 其他开发相关

软件简介

Sparser 是一个用于解析原始数据的解析引擎，由斯坦福大学开源，用于非结构化和半结构化的数据格式，例如 JSON、Avro 和 Parquet。

特性

  • 用原始过滤器过滤后再解析，丢弃那些不需要用假阳性率解析的记录

  • 用高效的优化器选择级联的原始过滤器

  • 提供超过现有解析器 22 倍的加速度

Sparser 的独特之处在于它可利用 SIMD 加速过滤函数在解析之前过滤数据。在 JSON、Avro 和 Parquet 数据上，Sparser 的速度比最先进的解析器最多快 22 倍，并且能将 Apache Spark 中的端对端的查询运行时间最多提高 9 倍。

Sparser与现有技术的比较 

pYYBAGKn5pGAalzNAABLR_hubmM152.png

 

下载并关注上传者 低至0.43元/天 开通VIP 免费下载

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !