颜色分类leetcode comparatively finetuning bert 在PyTorch中具有不同架构配置的下游文...

颜色分类leetcode BERT相对微调介绍最先进的预训练语言模型BERT（Bidirectional Encoder Representations from Transformers）在许多自然语言理解任务中取得了显著成果。总的来说，转换器架构（BERT、XLNet等）在行业范围内的采用标志着在序列到序列任务（例如机器翻译）中与传统编码器-解码器架构的急剧偏离。在此之后，许多方面越来越多地利用这些语言表示模型的预训练权重，并对其进行微调以适应他们试图解决的任何与文本相关的任务。根据上述观察，该存储库建立在诸如如何微调BERT以进行文本分类？由Chi Sun等人撰写。和调谐或不调谐？两全其美怎么样？由Ran Wang等人撰写，特别关注将BERT模型的网络深度最小化到文本分类任务的准确性仍然相当高的程度，但模型大小并不像宣传的那样灾难性，完整的12-层架构。我们希望这项工作可以帮助其他人减少他们的训练时间，让他们的模型适合适度的GPU和存储资源，并帮助他们进一步试验BERT。一个关键的想法是意识到有时我们不需要最先进模型的完整架构，