通信工程 / 系统课时

依据 BSC 容量判断码率上限

依据 BSC 容量判断码率上限

给定二元对称信道的交叉概率,可以计算每次信道使用最多能够可靠传输多少信息,再与纠错码的实际码率比较,排除理论上无法实现可靠传输的方案。以交叉概率 0.10 为例,计算信道容量、检查两组编码参数,并分析噪声增大后的影响。

学习目标

  • 理解 BSC 交叉概率与信道容量的关系,正确计算二元熵和容量。
  • 使用 R=k/nR=k/n 判断给定纠错码是否满足容量约束。
  • 通过 Python 复核计算结果,并区分理论容量界与有限码长的实际性能。

明确 BSC 的交叉概率

二元对称信道(Binary Symmetric Channel,BSC)以比特 0 和 1 为输入、输出符号。每次传输时,比特以概率 pp 被翻转,以概率 1−p1-p 保持不变。

其条件转移概率为:

  • 输入 0:输出 0 的概率为 1−p1-p,输出 1 的概率为 pp。
  • 输入 1:输出 1 的概率为 1−p1-p,输出 0 的概率为 pp。

BSC 输入输出的四种条件转移及交叉概率

例如 p=0.10p=0.10,表示每个传输比特有 10% 的概率发生翻转。发送 1000 个比特,平均预期出现约 100 次翻转,但具体一次传输的错误数量可能不同。

标准 BSC 还假设不同信道使用之间的翻转事件相互独立,且两种输入比特具有相同的翻转概率。如果实际信道存在突发错误或明显的非对称错误,不能直接套用这个模型的容量结果。

用二元熵计算信道容量

BSC 的容量由交叉概率 pp 决定。对于每次使用输入一个二进制符号的无记忆 BSC,容量公式为:

C=1−H2(p)C=1-H_2(p)

其中二元熵函数为:

H2(p)=−plog⁡2p−(1−p)log⁡2(1−p)H_2(p)=-p\log_2p-(1-p)\log_2(1-p)

在 p=0p=0 或 p=1p=1 时,按极限约定 0log⁡20=00\log_2 0=0。容量单位为 bit/次信道使用。BSC 属于对称信道,输入 0 和 1 等概率出现时能够达到互信息最大值,因此上述公式不需要再对输入概率进行数值优化。

代入 p=0.10p=0.10:

H2(0.10)=−0.10log⁡2(0.10)−0.90log⁡2(0.90)H_2(0.10)=-0.10\log_2(0.10)-0.90\log_2(0.90)

计算得到:

H2(0.10)≈0.468996H_2(0.10)\approx 0.468996

因此:

C=1−0.468996=0.531004C=1-0.468996=0.531004

这表示交叉概率为 0.10 的 BSC,每次信道使用最多能够以约 0.531 bit 的渐近速率实现任意低的译码错误概率,而不是说每发送一个比特必然有 0.531 bit 被正确接收。

几个特殊情况有助于检查计算是否合理:

交叉概率 pp 信道容量 CC 含义
0 1.000000 比特从不翻转
0.01 0.919207 少量随机翻转
0.10 0.531004 需要较多纠错冗余
0.50 0.000000 输出与输入完全无关
1.00 1.000000 每个比特必然翻转,可整体取反恢复

将码率与容量进行比较

对于一个二进制分组码,设每个码字携带 kk 个信息比特,编码后长度为 nn 个比特,则码率为:

R=knR=\frac{k}{n}

由于 BSC 每次使用传输一个编码比特,RR 的单位同样是 bit/次信道使用,可以直接与容量比较。

对于希望随着码长增加而使译码错误概率趋近于零的编码方案,通常使用以下判断:

  • R<CR<C:没有违反容量限制,存在渐近可靠传输的理论可能。
  • R>CR>C:超过容量上限,无法实现渐近可靠传输。
  • R=CR=C:处于理论边界,不能据此保证有限码长下的可靠性。

设信道交叉概率为 0.10,容量为 0.531004,比较两个码长相同的方案:

参数 方案 A 方案 B
信息位 kk 500 600
码长 nn 1000 1000
码率 RR 0.500 0.600
与容量比较 R<CR<C R>CR>C
理论判断 未被容量界排除 超出容量上限

方案 A 的码率为 0.500,距离容量还有约 0.031004 bit/次信道使用的余量。它有理论可行空间,但不能仅凭这个比较证明某个具体的 (1000,500)(1000,500) 码能达到目标误码率。

方案 B 的码率为 0.600,已经超过 0.531004。即使使用更复杂的编码和译码算法,也无法在相同 BSC 模型及该码率下实现渐近可靠传输。

如果保持 n=1000n=1000,要使码率严格低于容量,信息位数量必须满足:

k<1000×0.531004=531.004k<1000\times 0.531004=531.004

因此 kk 最大可以取整数 531,满足严格的容量不等式。但这仅仅是理论筛查结果,不代表选用 531 个信息位就具有足够的工程性能余量。

用 Python 复核容量和码率

下面使用 Python 3 标准库 math 实现容量计算,并检查同一组编码参数在两种信道条件下的理论可行性。无需安装第三方依赖。

python
import math


def bsc_capacity(p: float) -> float:
    if not 0.0 <= p <= 1.0:
        raise ValueError("交叉概率必须在 [0, 1] 内")

    # 端点直接处理,避免对 0 求对数
    if p == 0.0 or p == 1.0:
        return 1.0

    entropy = -p * math.log2(p) - (1 - p) * math.log2(1 - p)
    return 1.0 - entropy


for p in (0.10, 0.12):
    capacity = bsc_capacity(p)
    print(f"p={p:.2f}, C={capacity:.6f}")

    # 码率低于容量只表示满足渐近可靠传输的必要条件
    for k in (500, 600):
        n = 1000
        rate = k / n
        result = "低于容量" if rate < capacity else "达到或超过容量"
        print(f"  R={rate:.3f}: {result}")

预期输出:

text
p=0.10, C=0.531004
  R=0.500: 低于容量
  R=0.600: 达到或超过容量
p=0.12, C=0.470639
  R=0.500: 达到或超过容量
  R=0.600: 达到或超过容量

可以看到,交叉概率从 0.10 增加到 0.12,容量便从约 0.5310 降至 0.4706。原本满足容量约束的 R=0.5R=0.5 方案,也变成了超过容量上限的方案。

这说明在选择码率之前,必须先确定信道交叉概率。一个在较好信道条件下可行的码率,在噪声稍强时可能不再满足容量限制。

理论可行不代表实际误码率合格

香农容量讨论的是允许采用足够长的码字、合适的编码方案和译码器时的渐近可靠传输能力。它没有承诺指定码长、指定算法或指定计算资源下一定能获得足够低的误码率。

实际工程中还需要检查三个条件:

  1. 信道模型是否匹配。 如果比特错误具有相关性,例如连续几十位出现突发错误,那么使用独立翻转的 BSC 容量进行判断可能不合适。
  2. 有限码长是否足够。 对于 n=1000n=1000 的分组码,编码结构、最小距离、译码算法和有限码长效应都会影响实际性能。即使 R<CR<C,误块率仍可能明显高于目标。
  3. 是否有信道波动余量。 如果设计按 p=0.10p=0.10 计算,但运行时交叉概率可能达到 0.12,就应使用更差的信道条件重新核算容量。

可用一个简短的设计检查流程收尾:先测量或设定交叉概率的工作范围,按较差条件计算 CC;再根据 k/nk/n 检查候选码率;若超过容量,就降低信息位数量或增加编码长度;若低于容量,则继续通过 BER、BLER 与译码复杂度仿真确认是否达到工程目标。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

依据 BSC 容量判断码率上限

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通