大模型应用开发 / 系统课时
处理表格与代码块
处理表格与代码块
本节解决 RAG 知识库中表格、配置文件和代码示例容易被破坏的问题。通过专用处理规则保留结构信息,使用户检索后获得的片段仍然具备原始阅读体验。
学习目标
- 理解表格和代码块在切分中的特殊性
- 掌握保护结构化内容的处理策略
- 能够设计适合检索的代码与表格片段格式
表格为什么需要特殊处理
Markdown 表格包含行列关系,直接按照字符长度切割可能导致表头和数据分离。例如参数说明表如果缺少列名,模型很难判断每个值代表什么。处理表格时,应尽量保证以下内容位于同一个片段:
- 表头
- 数据行
- 表格前后的解释文字
如果表格过大,可以复制表头到后续片段,让每个片段保持独立可理解。
保留代码块完整结构
代码块通常包含语法、缩进和上下文说明。错误切分可能导致代码无法运行,也会降低模型生成准确率。
处理 Markdown 时,需要识别围栏标记,并在代码块结束前禁止切分。
python
def extract_code_blocks(lines):
blocks = []
inside = False
current = []
for line in lines:
if line.startswith("```"):
inside = not inside
current.append(line)
if not inside:
blocks.append("\n".join(current))
current = []
elif inside:
current.append(line)
return blocks预期输出
text
[
"```python\ndef hello():\n return 'ok'\n```"
]处理配置文件与命令片段
配置文件和命令通常依赖完整上下文。例如 YAML 配置中缩进代表层级,拆开后可能改变含义。对于这类内容,可以采用以下策略:
- 保留语言标识,例如 yaml、json、bash
- 将配置示例与解释文字绑定
- 对过长代码按函数或配置模块拆分
例如 Docker Compose 配置应尽量保持服务定义完整,而不是随机截断环境变量部分。
设计检索友好的片段格式
进入向量库之前,可以对特殊片段增加类型信息,让检索阶段区分普通文本和代码内容。
json
{
"content_type": "code",
"language": "yaml",
"title_path": ["部署", "Docker Compose"],
"content": "services:\n app:\n image: example"
}预期结果
text
content_type=code
language=yaml
片段保留章节路径和代码类型信息常见处理错误
一些切分流程只关注文本长度,会造成以下问题:
- 表格缺少标题导致语义丢失
- 代码块被拆开导致无法运行
- 配置文件缩进关系被破坏
因此,RAG 文档处理流程通常需要先识别结构,再执行长度控制。
按自己的节奏,确认真正理解。