通信工程 / 系统课时
计算二元熵与条件熵
计算二元熵与条件熵
给定发送比特的概率和信道误码率,怎样计算发送端的不确定性,以及观察接收比特后还剩多少未知信息?这里用一个非均匀输入的二元对称信道,先列概率表,再用 Python 核对结果。
学习目标
- 根据二元概率分布计算熵,正确处理概率为 0 的情形。
- 区分 与 各自表示的未知信息。
- 从联合概率计算条件熵,并用程序复核数值。
从概率算二元熵
设随机比特 取 1 的概率为 ,取 0 的概率为 。二元熵定义为:
单位是 bit/符号。计算时约定 ,避免对零直接取对数。若 或 ,发送内容完全可预测,熵为 0;若 ,两种取值等可能,熵达到最大值 1。
例如 ,,代入得到 bit/符号。这里的熵描述发送前对 的不确定性,不等同于信道的误码率。
分清条件熵的已知量
条件熵中的竖线表示“在已知右侧变量的条件下”。因此, 表示看到接收比特 后,发送比特 仍有多难确定; 则表示已知发送比特后,信道输出还有多少随机性。
计算时先求各联合概率 ,再求边缘概率。利用熵的链式法则:
不能只因信道误码率为 ,就认定两种条件熵都等于 ;输入分布不均匀时,反向推断需要考虑先验概率。
用二元对称信道手算
设 、,二元对称信道(BSC)的翻转概率为 :比特以 的概率保持原值,以 的概率翻转。联合概率由 逐格相乘得到。

| 行和 | |||
|---|---|---|---|
| 0 | 0.72 | 0.08 | 0.80 |
| 1 | 0.02 | 0.18 | 0.20 |
| 列和 | 0.74 | 0.26 | 1.00 |
因此 ,。四个联合概率的熵为 ,于是 bit/符号。
也可反向检查:当观察到 时,;当 时,。两种观察对应不同的后验分布,不能直接用统一的翻转概率替代。
用 Python 复核并判断结果
下面的完整程序只使用 Python 3 标准库,按联合概率表求边缘熵,再使用链式法则得到条件熵。entropy 会跳过零概率项,因此 也不会触发对数计算错误。
python
import math
def entropy(probs):
return -sum(p * math.log2(p) for p in probs if p > 0)
p1, error = 0.2, 0.1
# 行对应 X=0/1,列对应 Y=0/1
joint = [
[(1 - p1) * (1 - error), (1 - p1) * error],
[p1 * error, p1 * (1 - error)],
]
# 对联合分布分别按行、按列求和
px = [sum(row) for row in joint]
py = [sum(joint[x][y] for x in range(2)) for y in range(2)]
hx, hy = entropy(px), entropy(py)
hxy = entropy([v for row in joint for v in row])
# 条件熵的方向取决于被减去的边缘熵
hy_given_x = hxy - hx
hx_given_y = hxy - hy
print(f"H(X)={hx:.6f}")
print(f"H(Y)={hy:.6f}")
print(f"H(Y|X)={hy_given_x:.6f}")
print(f"H(X|Y)={hx_given_y:.6f}")
print(f"I(X;Y)={hx - hx_given_y:.6f}")预期输出:
text
H(X)=0.721928
H(Y)=0.826746
H(Y|X)=0.468996
H(X|Y)=0.364177
I(X;Y)=0.357751验证时检查三件事:概率表四格之和为 1;两个条件熵均非负,且分别不超过 、;互信息同时满足 。若把 改为 0.5,两种条件熵才都会约等于 0.468996;这也解释了均匀输入例子为何容易让人误以为条件熵总是对称的。
按自己的节奏,确认真正理解。