NIP基础

1.词向量与语言模型 2.学习不同语境下的语义表示 3.基于LSTM 的词向量学习 4.深度学习中的层次表示以及Deep BI-LSTM 5.ELMO模型 在监督NLP任务中使用Elmo 6.总结 1.词向量与语言模型 NLU 文本的量化表示方式 独热编码:能否表示单词之间的相似度? — 不能。因为通过任何一种方式(余弦相似度等)无法计算两两向量的相似度。 所以我们有了 词向量 (分布式表示的词向量) 独热编码: 稀疏向量,并且都是正交的。 词向量:稠密向量,分布式词向量。 类似的单词 都是聚集在一起的。当我们提取出某些词向量时,我们可以通过可视化来呈现出他们的关系。 可视化 T-SNE (s