如何仿真IP核（建立ModelSim仿真库完整解析）
在探讨英文字母概率和信息熵时，我们用随机变量X表示英文信源，符号( X ) 表示英文的26个字母和一个空格，分别代表字母和空格的概率。从表3.1中我们可以看到，空格的概率是0.1859，而字母I的概率是0.0575。根据这些概率计算，我们可以得出英文信源的信息熵为3.32比特/符号。这要比将字母和空格视为等概率出现时的信息熵要小。
考虑到字母之间的依赖关系，可以将英语信源近似为一阶或二阶马氏源。这样，通过计算字母之间的一维和二维条件概率，我们可以得到一阶马氏信源和二阶马氏信源所输出的典型字母序列。然而，计算这些条件概率相当复杂。如果我们近似为二阶马氏信源，就需要计算27^3，即19683项二维条件概率。而为了精确地计算这些条件概率，还必须处理上百万的字母。对于实际英文字母组成的信源，其实际熵有许多近似值，一般认为为3.7比特/符号。
更详细的内容可以参考以下资源：
用户评论
