语言模型与数据集.md

语言模型 一段自然语言文本可以看作是一个离散时间序列,给定一个长度为 T 的词的序列 w1,w2,...,wT ,语言模型的目标就是评估该序列是否合理,即计算该序列的概率: P(w1,w2,...,wT). 本节我们介绍基于统计的语言模型,主要是 n 元语法( n -gram)。在后续内容中,我们将会介绍基于神经网络的语言模型。