automated essay scoring:作文自动打分系统 源码

自动文章评分 概要 本项目通过文本分析技术实现对文章作文的自动打分,目标是作文集中,采用gbdt模型进行拟合。 ,,加上文章单词数,类别词性的单词数,错别字,句子个数等等,将上述特征串联作为输入,使用gbdt模型拟合目标 依赖 python3 大熊猫 麻木 matplotlib 恩特克 斯克莱恩 word2vec 细绳 实现 1.数据分析 使用boxplot可视化作文分数的分布,如下图: 可以看到在作文类型为1,2,5,6,7,8中有个别的异常值点,这些异常值点需要在文本预先时剔除。 2.训练词向量 利用word2vec对训练样本做词向量的训练,可视化结果如下: 可以看到意思相近的词的距离还是比较近的,例如,总是在开头的when和who,kid和people等等。 3.特征工程 文本特征采用采样的方式,目标是从文章中一共采样200个词向量,均匀间隔采样,不够则从头开始循环采样 文章中