Question Answering SQUAD:基于DistilBERT的问答模型在SQUAD数据集上进行了训练和评估 源码

问题解答小队 问题回答是回答问题(通常是阅读理解性问题)的任务,但是在遇到无法根据提供的上下文回答的问题时放弃。 我们在此项目中依赖的主要方法是Transformer。 具体来说,我们采用在Masked LM和Next Sentence Prediction上进行了预训练的DistilBERT模型,添加了新的问题解答负责人,并为我们的任务训练了新模型。 我们使用预训练的转换器而不是构建适用于问答任务的特定深度学习模型(LSTM,CNN等)的原因是,我们可以更快地进行开发,并且可以通过使用更少的数据来获得更好的结果。 实际上,我们认为NLP会发生与几年前在简历领域中发生的迁移学习转变相同的转变。 与其每次从头开始训练一个新网络,不如复制具有通用功能的受训练网络的较低层(主干)并转移到另一个具有不同任务的网络中使用。 为了提出最佳模型,我们尝试了不同的问题题头,这些问题题头的层数,激活函数和整