半导体与芯片 / 系统课时

验证 DMA 从外设到 DDR 的数据流

验证 DMA 从外设到 DDR 的数据流

外设数据搬进 DDR 后,收到中断仍不足以证明 CPU 读到了本轮数据。本篇用一帧 4096 字节的单次 DMA 接收,建立地址、写响应、完成通知和缓存可见性的验收链,并计算吞吐与延迟。

学习目标

  • 用带帧号的数据核对固定源地址、递增目的地址与完整接收长度。
  • 按 Linux 6.6 DMAengine 与 DMA API 的顺序交接缓冲区所有权。
  • 运行离线验收器,识别数据损坏和提前通知,计算吞吐与延迟。

固定一帧与实验边界

上板需要 Linux 6.6、已适配 DMAengine 的外设驱动,以及可输出已知数据的 FIFO 测试源;离线示例只需 Python 3.8 或更新版本。先按 SoC 手册确认 FIFO 地址、DMA 请求线、时钟和完成条件。

项目 本次实验设置
帧长 1024 个 32 位小端字,共 4096 B
数据模式 高 16 位为帧号,低 16 位为字序号;每轮更新帧号
地址方式 FIFO 源地址固定;DDR 目的地址递增
通知方式 单通道、单描述符、非循环,关闭中断合并;只统计归属于该通道的完成通知
运行条件 DMA 就绪后再触发一帧;外设溢出计数和 DMA 错误状态都必须为 0

第 i 字按 (frame_id << 16) | i 生成,i 从 0 到 1023,同时检查内容、位置和帧号。只核对长度会漏掉上一帧残留。教学帧号为 7,首字应为 0x00070000,末字应为 0x000703ff。

配置地址与传输

确认接收区来自平台 DDR 的普通系统 RAM,DMA 驱动已按硬件能力设置地址掩码。用 kmalloc(4096, GFP_KERNEL) 分配独立接收区并检查失败,避免与 CPU 修改的变量共享缓存行。CPU 指针、物理地址与 DMA 地址可能不同;目的地址必须取自 DMA 映射,不能用 virt_to_phys() 代替。genui{"citation":{"ref":"turn2view0"}}

  1. 用 dma_request_chan(dev, "rx") 申请通道;"rx" 须匹配实际设备描述。再用 dmaengine_get_dma_device(chan) 取得后续映射使用的 dma_dev。
  2. 用 dmaengine_slave_config() 设置 DMA 可见的 FIFO src_addr。若平台支持 32 位访问、源端最大突发 1 字的基线配置,设置 src_addr_width = DMA_SLAVE_BUSWIDTH_4_BYTES、src_maxburst = 1;这些参数描述外设端。
  3. 调用 dma_map_single(dma_dev, buf, 4096, DMA_FROM_DEVICE),用 dma_mapping_error() 检查结果。映射成功后,CPU 停止访问接收区。
  4. 用 dmaengine_prep_slave_single() 准备 4096 B,方向为 DMA_DEV_TO_MEM,标志为 DMA_PREP_INTERRUPT | DMA_CTRL_ACK。检查描述符非空,设置回调,调用 dmaengine_submit() 并检查 dma_submit_error()。
  5. 调用 dma_async_issue_pending(),随后按外设协议使能请求和测试源。仅提交描述符不会启动 DMA。genui{"citation":{"ref":"turn2view1"}}

映射方向 DMA_FROM_DEVICE 与描述符方向 DMA_DEV_TO_MEM 属于不同接口,不能混用。映射、同步和解除映射均使用同一个 dma_dev。

外设到 DDR 的数据通路、完成通知与 CPU 读取检查点

分开检查完成与可见性

在 RTL 仿真或 FPGA ILA 的 DMA 主端采集本帧 AW/W/B。AXI4 的 W 数据按写事务顺序归属,B 响应按 ID 及同 ID 顺序匹配 AW。只在 WVALID && WREADY 时累计 WSTRB 指定的有效字节;用 BVALID && BREADY 统计响应,用 AWVALID && AWREADY 统计请求,两者笔数相等,普通写的 BRESP 全为 0。每笔 AXI 突发不能跨 4 KiB 边界。genui{"citation":{"ref":"turn5view1"}}

WLAST 只标记一笔突发的末拍。即使全部 B 响应成功,也要确认控制器整笔传输完成且无错误;可缓冲写的响应不能解释为物理 DRAM 单元已写入。本实验采用全部写响应返回后才产生成功完成通知的验收约定。genui{"citation":{"ref":"turn3view2"}}

硬 IRQ 入口与 DMAengine 回调分别记录时间,回调不是硬 IRQ 入口。genui{"citation":{"ref":"turn2view1"}}

本实验保留 streaming 映射:成功完成后调用 dma_sync_single_for_cpu(dma_dev, dma_addr, 4096, DMA_FROM_DEVICE),返回后 CPU 才能只读校验。校验完再 dma_unmap_single(),沿用映射时的地址、长度和方向;若保留映射复用,重新交给设备前调用 dma_sync_single_for_device()。genui{"citation":{"ref":"turn3view0"}}

运行带反例的验收器

将代码保存为 dma_check.py,运行 python3 dma_check.py。sample 是自定义教学记录,地址与相对微秒均为构造值;64 笔各 64 B 只是样例分段,实际分段由控制器决定。它验证验收逻辑,不代表当前电脑执行了真实 DMA。

status 记录随后对本次 cookie 调用 dmaengine_tx_status() 得到的枚举名;dma_error、fifo_overrun 记录本轮 DMA 错误与外设溢出。irq_count 只数确认属于本通道的完成事件,不能直接取共享 IRQ 的总增量。

实测时替换全部观测字段。rx 必须来自同步后的 CPU 缓冲区;writes 每项为地址、连续有效字节数、响应码,尚无响应记 None。原始握手与字节选通由监视器另行核对,不能只导出成功事务。

us 依次记录启动、最后 B 握手、硬件成功完成、硬 IRQ 入口、回调、同步返回和 CPU 首次读取;done 是硬件完成事件,不是 Linux cookie 状态更新时间。硬件周期与软件时间戳须先校准到同一时间基准,不能直接相减。

python
from copy import deepcopy
from struct import pack, unpack

SIZE, WORDS = 4096, 1024

def require(ok, reason):
    if not ok:
        raise ValueError(reason)

def verify(r):
    require(r["status"] == "DMA_COMPLETE", "STATUS")
    require(r["dma_error"] == 0 and r["fifo_overrun"] == 0, "DEVICE_ERROR")
    require(len(r["rx"]) == SIZE, "LENGTH")
    pos = r["dma_addr"]
    # 按地址检查连续覆盖;排序不代表总线响应的先后顺序。
    for addr, count, bresp in sorted(r["writes"], key=lambda row: row[0]):
        require(addr == pos and count > 0, "ADDRESS")
        require(addr // 4096 == (addr + count - 1) // 4096, "BOUNDARY")
        require(bresp == 0, "BRESP")
        pos += count
    require(pos == r["dma_addr"] + SIZE, "COVERAGE")
    require(r["irq_count"] == 1, "IRQ")
    # us 中的硬件与软件事件已经换算到同一时间基准。
    names = ("start", "last_b", "done", "irq", "callback", "sync", "read")
    times = [r["us"][name] for name in names]
    require(all(a <= b for a, b in zip(times, times[1:])), "ORDER")
    require(times[1] > times[0], "CLOCK")
    expected = tuple((r["frame"] << 16) | i for i in range(WORDS))
    require(unpack("<1024I", r["rx"]) == expected, "DATA")
    return SIZE / (times[1] - times[0]), times[5] - times[0]

def main():
    # 下面是构造的教学输入;实际验收须替换为采集记录。
    base, frame = 0x20000000, 7
    sample = {
        "dma_addr": base, "frame": frame, "status": "DMA_COMPLETE",
        "rx": pack("<1024I", *((frame << 16) | i for i in range(WORDS))),
        "writes": [(base + off, 64, 0) for off in range(0, SIZE, 64)],
        "irq_count": 1, "dma_error": 0, "fifo_overrun": 0,
        "us": {"start": 0, "last_b": 16, "done": 17, "irq": 20,
               "callback": 22, "sync": 24, "read": 28},
    }
    # 两个反例证明错误数据和过早中断不会被放行。
    bad_data = deepcopy(sample)
    damaged = bytearray(bad_data["rx"])
    damaged[20] ^= 1
    bad_data["rx"] = bytes(damaged)
    early_irq = deepcopy(sample)
    early_irq["us"]["irq"] = 15
    for label, record in (("normal", sample), ("bad_data", bad_data),
                          ("early_irq", early_irq)):
        try:
            rate, latency = verify(record)
            print(f"{label}: PASS bytes={SIZE} bus={rate:.2f} MB/s ready={latency} us")
        except ValueError as error:
            print(f"{label}: REJECT {error}")

if __name__ == "__main__":
    main()

预期输出:

text
normal: PASS bytes=4096 bus=256.00 MB/s ready=24 us
bad_data: REJECT DATA
early_irq: REJECT ORDER

记录吞吐并定位长等待

总线完成窗口为 16 μs,所以有效吞吐为 4096 ÷ 16 = 256 MB/s;CPU 可读窗口截止同步返回,共 24 μs,对应约 170.67 MB/s。这里 MB/s 使用十进制,CPU 可读延迟是 24 μs,两种吞吐均不代表 DDR 峰值带宽。

样例中硬件在 17 μs 完成,20 μs 进入 IRQ,因此中断响应延迟为 3 μs;22 μs 执行回调,24 μs 同步返回。软件点可用 ktime_get_ns() 记录,硬件观测点必须经过时基校准后才能参与计算。

观察结果 下一步检查
地址覆盖或边界检查失败 核对映射返回值、长度、地址宽度及 IOMMU 故障记录
写入窗口长 同时统计 FIFO 空等待和 WVALID && !WREADY 周期,区分源供数不足与下游背压
完成早,IRQ 或回调晚 检查中断屏蔽、目标 CPU 负载与延后处理调度
通知正常,数据比较失败 核对帧号、字节序、外设溢出及缓存所有权交接顺序

上板先验证单帧,再更新帧号连续测 1000 帧,要求零数据错误、零 DMA 错误、零外设溢出。总吞吐用 4,096,000 B 除以整段耗时,包含帧间空隙;将 1000 个 CPU 可读延迟排序,按最近秩法取第 500、990 项作为 P50、P99。缺少 AXI 观测时,只能确认端到端数据验收,协议层检查仍需补齐。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

验证 DMA 从外设到 DDR 的数据流

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通