第十六章_NLP.pdf

50多年来 NLP 的历史发展可以分为三个浪潮,前两波以理性主义和经验主义的形式出现,为当前的深度学习浪潮铺平了道路。NLP的深层学习革命的主要支柱是: (1)语言嵌入实体的分布式表征,(2)由于嵌入而产生的语义泛化, (3)自然语言的大跨度深序列建模,(4)能够从低到高表示语言层次的分层网络,以及(5)解决许多联合 NLP 问题的端对端深度学习方法。