通信工程 / 系统课时

用互信息衡量接收端信息量

用互信息衡量接收端信息量

发送比特经过噪声信道后,接收端即使得到一个比特,也未必知道发送端原本发了什么。本课从一张发送与接收的联合计数表出发,算出互信息,并用 Python 复核每次信道使用保留的平均信息量。

学习目标

  • 从联合计数表求出联合概率、边缘概率和误码率。
  • 使用互信息公式计算接收信号提供的平均信息量。
  • 区分互信息、误码率以及信道容量的含义。

从联合计数表得到概率

令 XX 表示发送比特,YY 表示接收端硬判决得到的比特。假设记录了 1000 次独立发送与接收的配对结果,行是发送值、列是接收值:

发送 XX 接收 Y=0Y=0 接收 Y=1Y=1 合计
X=0X=0 450 50 500
X=1X=1 50 450 500
合计 500 500 1000

每个格子的计数除以 1000,就得到经验联合概率:p(0,0)=0.45p(0,0)=0.45、p(0,1)=0.05p(0,1)=0.05、p(1,0)=0.05p(1,0)=0.05、p(1,1)=0.45p(1,1)=0.45。按行求和得 p(X=0)=p(X=1)=0.5p(X=0)=p(X=1)=0.5;按列求和得 p(Y=0)=p(Y=1)=0.5p(Y=0)=p(Y=1)=0.5。

对角线共 900 次判对,非对角线共 100 次判错,因此经验误码率为 100/1000=0.1100/1000=0.1。但误码率只告诉我们判错比例,尚未直接给出 YY 对 XX 的信息量。

计算互信息

互信息 I(X;Y)I(X;Y) 衡量观察 YY 后,对 XX 的平均不确定性减少了多少。二元离散变量可直接由联合概率计算:

I(X;Y)=∑x,yp(x,y)log⁡2p(x,y)p(x)p(y)I(X;Y)=\sum_{x,y}p(x,y)\log_2\frac{p(x,y)}{p(x)p(y)}

四格表中各项分母都是 0.5×0.5=0.250.5\times0.5=0.25,两个正确格子各占 0.450.45,两个错误格子各占 0.050.05。合并同类项即可得到:

I(X;Y)=0.9log⁡2(1.8)+0.1log⁡2(0.2)≈0.5310I(X;Y)=0.9\log_2(1.8)+0.1\log_2(0.2)\approx0.5310

单位是 bit/次信道使用。输入均匀时 H(X)=1H(X)=1 bit,所以 H(X∣Y)=H(X)−I(X;Y)≈0.4690H(X\mid Y)=H(X)-I(X;Y)\approx0.4690 bit:接收一个硬判决比特后,对原发送比特平均仍有约 0.469 bit 的不确定性。它不是说某次接收到了“0.531 个比特”,而是对大量使用取平均的信息量。

用 Python 复核计算

下面的代码适用于 Python 3.8+,将上述计数转成概率,并根据边缘概率求互信息。将 counts 换成自己的仿真统计矩阵即可复用;行对应 XX,列对应 YY。

python
from math import log2

counts = [[450, 50], [50, 450]]
total = sum(sum(row) for row in counts)
joint = [[n / total for n in row] for row in counts]
px = [sum(row) for row in joint]
py = [sum(joint[i][j] for i in range(len(joint)))
      for j in range(len(joint[0]))]

# 零概率项按极限定义贡献为零,不能直接取 log2(0)
mi = sum(
    p * log2(p / (px[i] * py[j]))
    for i, row in enumerate(joint)
    for j, p in enumerate(row)
    if p > 0
)
hx = -sum(p * log2(p) for p in px if p > 0)
print(f"H(X) = {hx:.6f} bit")
print(f"I(X;Y) = {mi:.6f} bit")
print(f"H(X|Y) = {hx - mi:.6f} bit")

预期输出:

text
H(X) = 1.000000 bit
I(X;Y) = 0.531004 bit
H(X|Y) = 0.468996 bit

检查时应满足 0≤I(X;Y)≤H(X)0\le I(X;Y)\le H(X),并且 I(X;Y)+H(X∣Y)=H(X)I(X;Y)+H(X\mid Y)=H(X)(允许浮点舍入误差)。样本数较少时,经验联合概率得到的是互信息估计值,并非真实信道参数的精确值。

解释性能边界与易混淆点

如果发送与接收比特均匀分布且相互独立,四个联合概率均为 0.250.25,则每项的比值为 1,I(X;Y)=0I(X;Y)=0;若 Y=XY=X 始终成立且 XX 均匀,则 I(X;Y)=1I(X;Y)=1 bit。另一个反直觉边界是 Y=1−XY=1-X 始终成立:虽然直接按相同取值判决的误码率为 100%,接收端仍能反转 YY 完整恢复 XX,互信息也是 1 bit。

若信道确实是交叉概率为 0.1 的二元对称信道,那么均匀输入达到其理论容量:C=1−h2(0.1)≈0.5310C=1-h_2(0.1)\approx0.5310 bit/次信道使用。换成非均匀输入或非对称信道时,不能直接照搬这个值;容量需要对输入分布取最大互信息。对于该信道,码率超过容量无法实现渐近可靠传输,而低于容量也不代表任意有限长度编码都必然可靠。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用互信息衡量接收端信息量

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通