大模型应用开发 / 系统课时

采集网页内容

采集网页内容

本节实现一个最小网页采集器:请求页面后移除导航、广告、脚本等噪声,提取正文并过滤明显重复内容,同时保存页面 URL 与标题。最终得到的结构可以直接交给后续文本切分与索引流程。

学习目标

  • 把网页采集拆成请求、清洗、正文提取和元数据保存几个明确阶段。
  • 过滤导航、广告、脚本和重复区域,避免模板噪声进入向量索引。
  • 保留 source 与 title,让召回结果能够返回原网页。

网页采集不只是下载 HTML

网页对 RAG 有价值的是正文语义和可追溯来源,而不是完整 DOM。若把菜单、页脚、推荐位和广告一起送进向量库,不同页面会反复包含相同模板文本,召回结果容易被站点导航词和公共区域污染。

网页从请求到清洗再到知识文档的处理链路

一个可靠的最小流程是先检查 HTTP 响应,再删除明确的非正文节点,优先选择 article 或 main,随后过滤完全重复的文本片段,最后保存正文和来源元数据。下面示例使用 requests 与 beautifulsoup4。

python
import json
import re
import sys

import requests
from bs4 import BeautifulSoup


def fetch_page(url: str):
    response = requests.get(
        url,
        timeout=10,
        headers={"User-Agent": "RAG-Study-Bot/1.0"},
    )
    response.raise_for_status()

    soup = BeautifulSoup(response.text, "html.parser")

    # 先利用 DOM 结构删除明显模板区域,避免转成纯文本后难以区分。
    selector = (
        "script, style, nav, header, footer, aside, form, noscript, "
        ".advertisement, .ads"
    )
    for node in soup.select(selector):
        node.decompose()

    title = soup.title.get_text(" ", strip=True) if soup.title else ""
    main = soup.find("article") or soup.find("main") or soup.body or soup

    # 过滤完全相同的文本片段,同时保持首次出现的阅读顺序。
    seen = set()
    parts = []
    for raw in main.stripped_strings:
        text = re.sub(r"\s+", " ", raw).strip()
        if text and text not in seen:
            seen.add(text)
            parts.append(text)

    return {
        "page_content": " ".join(parts),
        "metadata": {
            "source": response.url,
            "title": title,
        },
    }


url = sys.argv[1] if len(sys.argv) > 1 else "https://example.com"
doc = fetch_page(url)
print(json.dumps(doc["metadata"], ensure_ascii=False))
print(doc["page_content"][:120])

预期结果:脚本输出最终访问地址、页面标题和清洗后的正文开头。若页面发生重定向,source 保存的是请求完成后的最终地址;正文内容会随目标页面变化。

text
{"source": "<VALUE>", "title": "<VALUE>"}
<VALUE>

清理顺序决定噪声是否留下

先删除 script、style、nav、header、footer、aside 等节点,再从 article 或 main 提取文本,比“先把整页转换为纯文本,再按关键词删除”更可靠。DOM 结构一旦丢失,导航与正文已经混在一起,很难准确恢复边界。

广告、推荐阅读和浮动组件没有统一标签。对于固定站点,可以补充经过验证的 CSS 选择器;面对多个站点,则应把清理规则做成站点级配置,并持续抽样检查,避免选择器过宽而误删正文。

处理重复内容与动态页面

重复通常来自两类情况:同一页面内部出现模板化重复文本,以及多个 URL 指向相同或近似正文。前者可以在解析阶段过滤,后者更适合在入库前根据规范化 URL 或正文哈希去重,否则相同内容会占据多个向量位置,放大单一来源的召回权重。

如果目标站点主要依靠 JavaScript 渲染,requests 得到的初始 HTML 可能没有正文。此时可以改用浏览器自动化或站点提供的正式 API,但输出仍应归一化为相同的 page_content 与 metadata 结构,让切分、向量化和检索层不依赖具体采集技术。

最后随机抽查页面正文是否完整、导航是否消失、标题是否正确、source 是否能够定位原页面。把这四项作为入库门槛,比只检查 HTTP 请求是否成功更能保证网页知识的可检索质量。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

采集网页内容

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通