1. 首页
  2. 课程学习
  3. 讲义
  4. BERTand transformer.pptx

BERTand transformer.pptx

上传者: 2020-05-29 20:02:36上传 PPTX文件 17.3MB 热度 16次
台湾大学李宏毅老师的bert和transformer的ppt,前一段时间谷歌推出的BERT模型在11项NLP任务中夺得STOA结果,引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型最早是用于机器翻译任务,当时达到了STOA效果。Transformer改进了RNN最被人诟病的训练慢的缺点,利用self-attention机制实现快速并行。并且Transformer可以增加到非常深的深度,充分发掘DNN模型的特性,提升模型准确率。 ppt的23页是视频
用户评论