命令行与文本处理 / 系统课时

URL 与路径提取

URL 与路径提取

学习目标

  • 从受控 URL 中提取协议、主机和路径。
  • 从简单 POSIX 路径中提取目录、文件名和扩展名。
  • 理解 URL 与文件路径的格式边界。
  • 知道生产解析应优先使用标准库。

问题背景或应用场景

日志、配置和爬取结果中经常需要拆分 URL 或文件路径。正则适合结构明确、输入受控的格式;面对编码、查询参数、IPv6 和平台路径差异时,应使用标准库解析器。

核心原理

  1. URL 模式可以按协议、主机、可选端口和路径分组。
  2. 文件路径模式应明确使用哪种平台分隔符。
  3. 命名捕获组便于把字段转换为字典。
  4. 可选字段未出现时会返回 None。
  5. 生产 URL 解析优先使用 urllib.parse,文件路径优先使用 pathlib。

本课正则只处理 HTTP 或 HTTPS、常见主机名、可选端口和不含空格的路径,不覆盖所有合法 URL。

基础用法

本课涉及的核心写法如下:

text
(?P<scheme>https?)://
(?P<host>...)
(?P<port>:[0-9]+)?
(?P<path>/[^?#]*)?

正则适合受控提取和日志分析。若需要处理查询参数、百分号编码、IPv6、国际化域名或 Windows 路径,应使用对应标准库。

完整可运行示例

将代码保存为:

text
url_path_extract.py
python
import re
from urllib.parse import urlparse

url_pattern = re.compile(
    r"(?P<scheme>https?)://"
    r"(?P<host>[A-Za-z0-9.-]+)"
    r"(?::(?P<port>[0-9]+))?"
    r"(?P<path>/[^?#]*)?"
)

urls = [
    "https://example.com/docs/index.html",
    "http://localhost:8080/api/users",
]

for url in urls:
    match = url_pattern.fullmatch(url)
    print(f"正则字段:{match.groupdict() if match else None}")
    parsed = urlparse(url)
    print(
        f"标准库:scheme={parsed.scheme}, "
        f"host={parsed.hostname}, port={parsed.port}, path={parsed.path}"
    )

path_pattern = re.compile(
    r"(?P<directory>(?:/[^/]+)*/)?"
    r"(?P<filename>[^/]+?)"
    r"(?:\.(?P<extension>[A-Za-z0-9]+))?"
)

path = "/opt/app/config/settings.json"
path_match = path_pattern.fullmatch(path)
print(f"路径字段:{path_match.groupdict() if path_match else None}")

运行命令:

bash
python url_path_extract.py

预期输出

text
正则字段:{'scheme': 'https', 'host': 'example.com', 'port': None, 'path': '/docs/index.html'}
标准库:scheme=https, host=example.com, port=None, path=/docs/index.html
正则字段:{'scheme': 'http', 'host': 'localhost', 'port': '8080', 'path': '/api/users'}
标准库:scheme=http, host=localhost, port=8080, path=/api/users
路径字段:{'directory': '/opt/app/config/', 'filename': 'settings', 'extension': 'json'}

Tips

  • 先明确 URL 或路径的受控范围。
  • 复杂 URL 使用 urllib.parse。
  • 跨平台路径使用 pathlib。
  • 可选端口和路径字段可能返回 None。

常见错误

1. 用简单点号匹配主机

点号是通配符,域名中的字面点号必须正确处理。

2. 假设所有路径使用正斜杠

Windows 和 POSIX 路径规则不同。

3. 用一条正则覆盖全部 URL 标准

IPv6、编码和国际化域名会让模式迅速失控。

本课练习

  1. 提取一个 HTTPS URL 的协议、主机、端口和路径。
  2. 使用 urllib.parse 解析同一 URL 并比较。
  3. 从 POSIX 路径提取目录、文件名和扩展名。
  4. 说明为何 Windows 路径需要单独设计。
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

URL 与路径提取

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通