音频开发 / 系统课时

用 STFT 追踪动态频谱

用 STFT 追踪动态频谱

长音频的频率成分会随时间变化,单次 FFT 只能告诉你“整段里有什么频率”,却看不出它们何时出现。STFT 的做法是把信号切成重叠短帧,对每帧做 FFT,再把结果沿时间拼起来,从而得到可定位瞬态和持续音调的时频表示。

学习目标

  • 理解 STFT 中帧长、跳步和窗函数各自控制什么。
  • 能根据时间分辨率与频率分辨率选择一组可用参数。
  • 能生成声谱图,并判断瞬态是否因为帧长过大而被抹平。

从一帧 FFT 到连续时频图

设采样率为 fsf_s,每帧长度为 NN 个采样点。每一帧经过加窗和 FFT 后,会得到这一时刻附近的频率能量。把帧起始位置不断向前移动,就得到“时间 × 频率”的二维矩阵。

STFT 从重叠分帧到时频矩阵的处理链路

帧长决定每次分析覆盖多长时间,跳步决定相邻两帧隔多远。若跳步小于帧长,相邻帧就会重叠,这样能让时间变化更连续,也能降低窗边界带来的突变。

对于长度为 NN 的 FFT,频率栅格间隔近似为 Δf=fs/N\Delta f = f_s / N。因此帧越长,频率刻度越细;但一帧覆盖的时间也越长,快速瞬态就更容易被平均掉。

用参数量化分辨率

以 16 kHz 音频为例,256 点帧长对应 16 ms,频率间隔约 62.5 Hz;1024 点帧长对应 64 ms,频率间隔约 15.625 Hz。前者更擅长看“什么时候发生”,后者更擅长分开相近频率。

参数 短帧方案 长帧方案
帧长 256 点 / 16 ms 1024 点 / 64 ms
跳步 64 点 / 4 ms 256 点 / 16 ms
频率间隔 62.5 Hz 15.625 Hz
更适合 爆音、敲击、辅音等瞬态 稳定音调、谐波、窄带干扰

运行一个最小 STFT 对比

下面生成一个 1 kHz 正弦波,并在 0.5 秒处加入单点瞬态。代码分别用 256 点和 1024 点帧长计算 STFT,打印矩阵尺寸和理论分辨率,再绘制两张声谱图。

python
import numpy as np
import matplotlib.pyplot as plt
from scipy.signal import stft

fs = 16000
duration = 1.0
t = np.arange(int(fs * duration)) / fs

signal = 0.4 * np.sin(2 * np.pi * 1000 * t)
signal[int(0.5 * fs)] += 3.0  # 在 0.5 秒处加入宽带瞬态

configs = [
    ("short", 256, 64),
    ("long", 1024, 256),
]

fig, axes = plt.subplots(2, 1, figsize=(10, 6), sharex=True)

for ax, (name, frame_length, hop) in zip(axes, configs):
    f, tt, zxx = stft(
        signal,
        fs=fs,
        window="hann",
        nperseg=frame_length,
        noverlap=frame_length - hop,
        boundary=None,
        padded=False,
    )
    magnitude_db = 20 * np.log10(np.maximum(np.abs(zxx), 1e-8))
    ax.pcolormesh(tt, f, magnitude_db, shading="auto")
    ax.set_ylim(0, 4000)
    ax.set_ylabel("Frequency (Hz)")
    ax.set_title(f"{name}: frame={frame_length}, hop={hop}")

    print(
        name,
        "bins=", len(f),
        "frames=", len(tt),
        "df_hz=", fs / frame_length,
        "hop_ms=", hop / fs * 1000,
    )

axes[-1].set_xlabel("Time (s)")
plt.tight_layout()
plt.show()

预期输出

text
short bins= 129 frames= 247 df_hz= 62.5 hop_ms= 4.0
long bins= 513 frames= 59 df_hz= 15.625 hop_ms= 16.0

图中两种方案都会看到 1 kHz 附近的稳定水平能量带。0.5 秒附近的瞬态会表现为跨越较宽频段的短时竖向能量;短帧方案通常更集中,长帧方案则会在时间轴上铺得更宽。

用声谱图检查瞬态是否被抹平

短帧与长帧观察同一瞬态时的差异

判断参数是否合适,不要只看图“是否漂亮”,而要回到任务。如果要定位爆音发生在 20 ms 还是 40 ms 附近,64 ms 帧长显然过粗;如果要区分 1000 Hz 与 1030 Hz 两条稳定窄带,256 点帧长又可能不够。

实际调参时可以先根据目标事件的持续时间选帧长,再把跳步设为帧长的 1/4 或 1/2。之后观察同一个已知瞬态:如果声谱图中的能量被明显拉宽,就缩短帧长;如果相邻窄带频率始终粘在一起,再适当加长帧长。

STFT 不是把 FFT “多做几次”这么简单,而是用窗口长度和帧间移动速度定义你观察信号的时频尺度。只要先明确要看的是瞬态位置还是窄带频率,就能用可解释的参数,而不是靠反复试图形。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 STFT 追踪动态频谱

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通