论文研究 基于Storm的流数据KNN分类算法的研究与实现.pdf

KNN算法是一种简单、有效且易于实现的分类算法，可用于类域较大的分类。近年来对KNN算法的研究偏向于静态大数据集，不过，在越来越多的情况下要用KNN算法在线实时处理流数据。考虑到流式数据流量大，连续且快速，不易存储和恢复等特性，以及流处理系统Storm对流数据处理具有实时性、可靠性的特点，提出了基于Storm的流数据KNN分类算法，该算法首先对整个样本集进行划分，形成多个片集，然后计算出待分类向量在各片集上的[K]近邻，最后再将所有片集[K]近邻归约得出整体[K]近邻，实现待分类向量的分类。实验结果表明，基于Storm的流数据KNN分类算法能够满足大数据背景下对流数据分类的高吞吐量、可扩展性、