大模型应用开发 / 系统课时

采集网页知识

采集网页知识

本课解决 RAG 知识库接入网页资料时噪声过多的问题,通过抓取网页正文、清理无关元素,并保存标题、地址和更新时间等信息,构建适合后续检索的网页知识来源。

学习目标

  • 理解网页采集在 RAG 数据准备阶段的作用。
  • 掌握网页抓取与正文清洗的基本流程。
  • 学会保存网页来源信息,提升检索结果可追溯性。

网页采集在知识库中的流程

网页内容通常包含正文、导航菜单、广告、脚本、版权声明等大量非知识信息。如果直接把 HTML 转换为文本,会产生大量无效片段,影响向量检索质量。

一个完整网页采集流程通常包括请求页面、解析 HTML、提取正文、清理噪声、保存元数据几个步骤。

网页知识采集与清洗流程

使用 Python 抓取网页内容

网页采集需要考虑访问频率、编码格式和异常响应。简单场景可以使用 requests 获取 HTML,再通过解析器提取文本。

下面示例展示基础采集过程,实际生产环境通常还需要增加 robots.txt 检查、缓存和重试机制。

python
import requests
from bs4 import BeautifulSoup

url = "https://example.com"
response = requests.get(url, timeout=10)
response.raise_for_status()

# 提取页面可见文本,去除 HTML 标签
soup = BeautifulSoup(response.text, "html.parser")
content = soup.get_text(" ", strip=True)

result = {
    "title": soup.title.text if soup.title else "",
    "url": url,
    "content": content
}

print(result["title"])

预期输出

text
Example Domain

示例中的 URL 仅用于演示请求流程,实际项目应替换为允许采集的目标地址。

清理网页噪声并保留元数据

网页正文提取不能只关注文本数量,更重要的是保留内容上下文。标题可以帮助判断主题,更新时间可以辅助处理过期知识,URL 可以作为回答引用来源。常见保存字段包括:

字段 作用
title 标识页面主题
url 定位原始来源
updatedAt 判断内容新旧
content 参与切片和检索

清洗阶段通常会删除 script、style、导航菜单和重复区域,只保留用户真正阅读的信息。

网页采集的边界与失败处理

网页采集可能遇到动态渲染、访问限制和页面结构变化。普通 HTTP 请求只能获取服务器返回的 HTML,依赖 JavaScript 生成内容的网站可能需要浏览器自动化工具。

当采集失败时,应先确认响应状态码、页面编码和解析规则,而不是直接增加重试次数。错误的数据进入知识库,会比采集失败带来更大的问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

采集网页知识

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通