基于关联规则的数据质量分析与修复方法研究

数据集成是大数据技术的初始环节,通过将相互关联的多源异构数据集成到一起,为数据的分析和应用提供基础。不同来源的数据质量良莠不齐,存在诸多问题,依靠人工分析解决费时费力。针对这一情况,提出基于关联规则的数据质量分析与修复方法,通过定义数据项之间的关联规则,建立数据关联模型,自动根据模型检测数据集合是否满足关联关系,判断数据是否符合质量要求;通过指定数据修复策略,对发现问题的数据进行自动修复。通过示例形式对方法进行了说明,并在方法基础上设计了数据质量分析与修复系统。