资料下载
×
基于动态可配置规格的数据清洗方法DRDCM
消耗积分:1 |
格式:rar |
大小:1.04 MB |
2017-12-04
分享资料个
针对传统数据清洗方法通过硬编码方法来实现业务逻辑而导致系统的可重用性、可扩展性与灵活性较差等问题，提出了一种基于动态可配置规则的数据清洗方法-DRDCM。该方法支持多种类型规则间的复杂逻辑运算，并支持多种脏数据修复行为，集数据检测、数据修复与数据转换于一体，具有跨领域、可重用、可配置、可扩展等特点。首先，对DRDCM方法中的数据检测和数据修复的概念、实现步骤以及实现算法进行描述；其次，阐述了DRDCM方法中支持的多种规则类型以及规则配置；最后，对DRDCM方法进行实现，并通过实际项目数据集验证了该实现系统在脏数据修复中，丢弃修复行为具有很高的准确率，尤其是对需遵守法定编码规则的属性（例如身份证号码）处理时其准确率可达1 00%。实验结果表明，DRDCM实现系统可以将动态可配置规则无缝集成于多个数据源和多种不同应用领域且该系统的性能并不会随着规则条数增加而极速降低，这也进一步验证了DRDCM方法在真实环境中的切实可行性。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
