missing word locator 基于机器学习的缺词定位器实现

缺少词定位器介绍：这是一个利用Kaggle的Billion Word Imputation数据集进行缺失词定位的项目。我们最初计划将该项目建模为十亿字估算挑战的完整提交，然而，预测单词位置及其具体内容对计算资源和时间提出了极高的要求。为了简化，我们集中精力在句子中定位缺失词。项目中使用了两种方法：平均感知器与马尔可夫链。具体来说，通过使用棕色聚类对词汇进行分组，平均感知器方法的准确率在50%左右，而采用n-gram特征的马尔可夫链方法达到30%的准确率。