文本查重文本复制检测技术

在研究目前文档复制检测技术的基础上，对比基于字符串比较和基于词频统计的两类方法，确定基本的检测方案：进而设计合适的文档存储和对比策略，实现在较大规模的文档库中快速查找相似度达到一定阈值的文档。（1）基于字符串比较方法的研究：以Sif工具的方法为基础，实现基于字符串比较的相似文本检测；（2）基于词频统计的方法的研究：以SCAM方法为基础，实现基于词频统计的文本查重检测，并与方法（1）进行对比，分析两者的优缺点，选择其中一种作为后续研究的基本查重方法（3）研究大规模文档的存储策略和相似文本查找策略，实现一个有一定实用价值的文本复制检测系统。