通信工程 / 系统课时

计算二元熵与条件熵

计算二元熵与条件熵

给定发送比特的概率和信道误码率,怎样计算发送端的不确定性,以及观察接收比特后还剩多少未知信息?这里用一个非均匀输入的二元对称信道,先列概率表,再用 Python 核对结果。

学习目标

  • 根据二元概率分布计算熵,正确处理概率为 0 的情形。
  • 区分 H(X∣Y)H(X\mid Y) 与 H(Y∣X)H(Y\mid X) 各自表示的未知信息。
  • 从联合概率计算条件熵,并用程序复核数值。

从概率算二元熵

设随机比特 XX 取 1 的概率为 pp,取 0 的概率为 1−p1-p。二元熵定义为:

H2(p)=−plog⁡2p−(1−p)log⁡2(1−p)H_2(p)=-p\log_2 p-(1-p)\log_2(1-p)

单位是 bit/符号。计算时约定 0log⁡20=00\log_2 0=0,避免对零直接取对数。若 p=0p=0 或 11,发送内容完全可预测,熵为 0;若 p=0.5p=0.5,两种取值等可能,熵达到最大值 1。

例如 P(X=1)=0.2P(X=1)=0.2,P(X=0)=0.8P(X=0)=0.8,代入得到 H(X)=H2(0.2)≈0.721928H(X)=H_2(0.2)\approx0.721928 bit/符号。这里的熵描述发送前对 XX 的不确定性,不等同于信道的误码率。

分清条件熵的已知量

条件熵中的竖线表示“在已知右侧变量的条件下”。因此,H(X∣Y)H(X\mid Y) 表示看到接收比特 YY 后,发送比特 XX 仍有多难确定;H(Y∣X)H(Y\mid X) 则表示已知发送比特后,信道输出还有多少随机性。

计算时先求各联合概率 P(X=x,Y=y)P(X=x,Y=y),再求边缘概率。利用熵的链式法则:

H(X∣Y)=H(X,Y)−H(Y)H(X\mid Y)=H(X,Y)-H(Y)
H(Y∣X)=H(X,Y)−H(X)H(Y\mid X)=H(X,Y)-H(X)

不能只因信道误码率为 0.10.1,就认定两种条件熵都等于 H2(0.1)H_2(0.1);输入分布不均匀时,反向推断需要考虑先验概率。

用二元对称信道手算

设 P(X=0)=0.8P(X=0)=0.8、P(X=1)=0.2P(X=1)=0.2,二元对称信道(BSC)的翻转概率为 e=0.1e=0.1:比特以 0.90.9 的概率保持原值,以 0.10.1 的概率翻转。联合概率由 P(X=x,Y=y)=P(X=x)P(Y=y∣X=x)P(X=x,Y=y)=P(X=x)P(Y=y\mid X=x) 逐格相乘得到。

二元对称信道中发送与接收比特的概率分支

XX Y=0Y=0 Y=1Y=1 行和
0 0.72 0.08 0.80
1 0.02 0.18 0.20
列和 0.74 0.26 1.00

因此 H(Y)=H2(0.26)≈0.826746H(Y)=H_2(0.26)\approx0.826746,H(Y∣X)=H2(0.1)≈0.468996H(Y\mid X)=H_2(0.1)\approx0.468996。四个联合概率的熵为 H(X,Y)≈1.190924H(X,Y)\approx1.190924,于是 H(X∣Y)≈1.190924−0.826746=0.364177H(X\mid Y)\approx1.190924-0.826746=0.364177 bit/符号。

也可反向检查:当观察到 Y=0Y=0 时,P(X=1∣Y=0)=0.02/0.74≈0.0270P(X=1\mid Y=0)=0.02/0.74\approx0.0270;当 Y=1Y=1 时,P(X=1∣Y=1)=0.18/0.26≈0.6923P(X=1\mid Y=1)=0.18/0.26\approx0.6923。两种观察对应不同的后验分布,不能直接用统一的翻转概率替代。

用 Python 复核并判断结果

下面的完整程序只使用 Python 3 标准库,按联合概率表求边缘熵,再使用链式法则得到条件熵。entropy 会跳过零概率项,因此 p=0p=0 也不会触发对数计算错误。

python
import math

def entropy(probs):
    return -sum(p * math.log2(p) for p in probs if p > 0)

p1, error = 0.2, 0.1
# 行对应 X=0/1,列对应 Y=0/1
joint = [
    [(1 - p1) * (1 - error), (1 - p1) * error],
    [p1 * error, p1 * (1 - error)],
]

# 对联合分布分别按行、按列求和
px = [sum(row) for row in joint]
py = [sum(joint[x][y] for x in range(2)) for y in range(2)]
hx, hy = entropy(px), entropy(py)
hxy = entropy([v for row in joint for v in row])

# 条件熵的方向取决于被减去的边缘熵
hy_given_x = hxy - hx
hx_given_y = hxy - hy
print(f"H(X)={hx:.6f}")
print(f"H(Y)={hy:.6f}")
print(f"H(Y|X)={hy_given_x:.6f}")
print(f"H(X|Y)={hx_given_y:.6f}")
print(f"I(X;Y)={hx - hx_given_y:.6f}")

预期输出:

text
H(X)=0.721928
H(Y)=0.826746
H(Y|X)=0.468996
H(X|Y)=0.364177
I(X;Y)=0.357751

验证时检查三件事:概率表四格之和为 1;两个条件熵均非负,且分别不超过 H(X)H(X)、H(Y)H(Y);互信息同时满足 I(X;Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)I(X;Y)=H(X)-H(X\mid Y)=H(Y)-H(Y\mid X)。若把 p1p1 改为 0.5,两种条件熵才都会约等于 0.468996;这也解释了均匀输入例子为何容易让人误以为条件熵总是对称的。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

计算二元熵与条件熵

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通