论文研究 基于分级匹配的维吾尔语文档相似性计算及剽窃检测方法.pdf

针对以维吾尔语书写的文档间的相似性计算及剽窃检测问题，提出了一种基于内容的维吾尔语剽窃检测（U-PD）方法。首先，通过预处理阶段对维吾尔语文本进行分词、删除停止词、提取词干和同义词替换，其中提取词干是基于n-gram 统计模型实现；然后，通过BKDRhash算法计算每个文本块的hash值并构建整个文档的hash指纹信息；最后，根据hash指纹信息，基于RKR-GST匹配算法在文档级、段落级和句子级将文档与文档库进行匹配，获得文档相似度，以此实现剽窃检测。通过在维吾尔语文档中的实验评估表明，提出的方法能够准确检测出剽窃文档，具有可行性和有效性。