大模型应用开发 / 系统课时

处理表格与代码块

处理表格与代码块

本节解决 RAG 知识库中表格、配置文件和代码示例容易被破坏的问题。通过专用处理规则保留结构信息,使用户检索后获得的片段仍然具备原始阅读体验。

学习目标

  • 理解表格和代码块在切分中的特殊性
  • 掌握保护结构化内容的处理策略
  • 能够设计适合检索的代码与表格片段格式

表格为什么需要特殊处理

Markdown 表格包含行列关系,直接按照字符长度切割可能导致表头和数据分离。例如参数说明表如果缺少列名,模型很难判断每个值代表什么。处理表格时,应尽量保证以下内容位于同一个片段:

  • 表头
  • 数据行
  • 表格前后的解释文字

如果表格过大,可以复制表头到后续片段,让每个片段保持独立可理解。

保留代码块完整结构

代码块通常包含语法、缩进和上下文说明。错误切分可能导致代码无法运行,也会降低模型生成准确率。

处理 Markdown 时,需要识别围栏标记,并在代码块结束前禁止切分。

python

def extract_code_blocks(lines):
    blocks = []
    inside = False
    current = []

    for line in lines:
        if line.startswith("```"):
            inside = not inside
            current.append(line)
            if not inside:
                blocks.append("\n".join(current))
                current = []
        elif inside:
            current.append(line)

    return blocks

预期输出

text
[
"```python\ndef hello():\n    return 'ok'\n```"
]

处理配置文件与命令片段

配置文件和命令通常依赖完整上下文。例如 YAML 配置中缩进代表层级,拆开后可能改变含义。对于这类内容,可以采用以下策略:

  • 保留语言标识,例如 yaml、json、bash
  • 将配置示例与解释文字绑定
  • 对过长代码按函数或配置模块拆分

例如 Docker Compose 配置应尽量保持服务定义完整,而不是随机截断环境变量部分。

设计检索友好的片段格式

进入向量库之前,可以对特殊片段增加类型信息,让检索阶段区分普通文本和代码内容。

json
{
  "content_type": "code",
  "language": "yaml",
  "title_path": ["部署", "Docker Compose"],
  "content": "services:\n  app:\n    image: example"
}

预期结果

text
content_type=code
language=yaml
片段保留章节路径和代码类型信息

常见处理错误

一些切分流程只关注文本长度,会造成以下问题:

  • 表格缺少标题导致语义丢失
  • 代码块被拆开导致无法运行
  • 配置文件缩进关系被破坏

因此,RAG 文档处理流程通常需要先识别结构,再执行长度控制。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理表格与代码块

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通