大数据预处理之数据消减

我们都知道对大规模数据进行复杂的数据分析通常需要耗费大量的时间,这时就需要我们的数据消减技术了。 数据消减技术的主要目的就是从原有巨大数据集中获得一个精简的数据集,并使这一精简数据集保持原有数据集的完整性。这样在精简数据集上进行数据挖掘就会提高效率,并且能够保证挖掘出来的结果与使用原有数据集所获得的结果基本相同。 数据消减的主要策略有以下几种。 名称 说明 数据立方合计 这类合计操作主要用于构造数据立方(数据仓库操作)。 维数消减 主要用于检测和消除无关、弱相关,或冗余的属性或维(数据仓库中属性)。 数据压缩 利用编码技术压缩数据集的大小。 数据块消