通信工程 / 系统课时
用互信息衡量接收端信息量
用互信息衡量接收端信息量
发送比特经过噪声信道后,接收端即使得到一个比特,也未必知道发送端原本发了什么。本课从一张发送与接收的联合计数表出发,算出互信息,并用 Python 复核每次信道使用保留的平均信息量。
学习目标
- 从联合计数表求出联合概率、边缘概率和误码率。
- 使用互信息公式计算接收信号提供的平均信息量。
- 区分互信息、误码率以及信道容量的含义。
从联合计数表得到概率
令 表示发送比特, 表示接收端硬判决得到的比特。假设记录了 1000 次独立发送与接收的配对结果,行是发送值、列是接收值:
| 发送 | 接收 | 接收 | 合计 |
|---|---|---|---|
| 450 | 50 | 500 | |
| 50 | 450 | 500 | |
| 合计 | 500 | 500 | 1000 |
每个格子的计数除以 1000,就得到经验联合概率:、、、。按行求和得 ;按列求和得 。
对角线共 900 次判对,非对角线共 100 次判错,因此经验误码率为 。但误码率只告诉我们判错比例,尚未直接给出 对 的信息量。
计算互信息
互信息 衡量观察 后,对 的平均不确定性减少了多少。二元离散变量可直接由联合概率计算:
四格表中各项分母都是 ,两个正确格子各占 ,两个错误格子各占 。合并同类项即可得到:
单位是 bit/次信道使用。输入均匀时 bit,所以 bit:接收一个硬判决比特后,对原发送比特平均仍有约 0.469 bit 的不确定性。它不是说某次接收到了“0.531 个比特”,而是对大量使用取平均的信息量。
用 Python 复核计算
下面的代码适用于 Python 3.8+,将上述计数转成概率,并根据边缘概率求互信息。将 counts 换成自己的仿真统计矩阵即可复用;行对应 ,列对应 。
from math import log2
counts = [[450, 50], [50, 450]]
total = sum(sum(row) for row in counts)
joint = [[n / total for n in row] for row in counts]
px = [sum(row) for row in joint]
py = [sum(joint[i][j] for i in range(len(joint)))
for j in range(len(joint[0]))]
# 零概率项按极限定义贡献为零,不能直接取 log2(0)
mi = sum(
p * log2(p / (px[i] * py[j]))
for i, row in enumerate(joint)
for j, p in enumerate(row)
if p > 0
)
hx = -sum(p * log2(p) for p in px if p > 0)
print(f"H(X) = {hx:.6f} bit")
print(f"I(X;Y) = {mi:.6f} bit")
print(f"H(X|Y) = {hx - mi:.6f} bit")预期输出:
H(X) = 1.000000 bit
I(X;Y) = 0.531004 bit
H(X|Y) = 0.468996 bit检查时应满足 ,并且 (允许浮点舍入误差)。样本数较少时,经验联合概率得到的是互信息估计值,并非真实信道参数的精确值。
解释性能边界与易混淆点
如果发送与接收比特均匀分布且相互独立,四个联合概率均为 ,则每项的比值为 1,;若 始终成立且 均匀,则 bit。另一个反直觉边界是 始终成立:虽然直接按相同取值判决的误码率为 100%,接收端仍能反转 完整恢复 ,互信息也是 1 bit。
若信道确实是交叉概率为 0.1 的二元对称信道,那么均匀输入达到其理论容量: bit/次信道使用。换成非均匀输入或非对称信道时,不能直接照搬这个值;容量需要对输入分布取最大互信息。对于该信道,码率超过容量无法实现渐近可靠传输,而低于容量也不代表任意有限长度编码都必然可靠。