论文研究流数据环境下基于.pdf

通过分析集值属性的标签共现频率，可以挖掘频繁模式以及进行异常的检测。为了提高标签共现计算的性能，提出了一种流数据环境下基于k集合覆盖的分布式标签共现算法。采用多集合的容斥原理对标签共现问题进行了分析，并提出了一种分布式标签共现计算流程；通过引入信息检索中的倒排索引对标签及其出处进行索引，基于k集合覆盖的思想将整个倒排索引划分到多个分布式从节点上，并根据流数据的变化动态地更新每个从节点的局部索引，在对所有从节点的结果进行汇聚后得到最终结果。实验表明，提出的基于k集合覆盖的分布式标签共现算法与其他算法相比较，不仅具有较低的平均更新时间，而且使用更少的索引副本，因而更适用于大规模流数据的标签共现计算