大数据清洗算法研究与系统平台搭建.docx

大数据清洗算法研究与系统平台搭建 数据清洗一直是数据分析和数据挖掘领域的一个重要问题 , 特别在信息快速 增长的时代 , 每天会产生大量的数据 , 数据的海量性与数据质量的复杂性一直是 数据分析与数据挖掘工程师所面临的挑战随着互联网的兴起 , 很多传统行业利 用互联网的优势来提高工作效率 , 而原有数据存储分散而且规范不统一 , 在对数 据进行整合的过程中 , 难免会出现一些错误录入或者重复录入