命令行与文本处理 / 系统课时
URL 与路径提取
URL 与路径提取
学习目标
- 从受控 URL 中提取协议、主机和路径。
- 从简单 POSIX 路径中提取目录、文件名和扩展名。
- 理解 URL 与文件路径的格式边界。
- 知道生产解析应优先使用标准库。
问题背景或应用场景
日志、配置和爬取结果中经常需要拆分 URL 或文件路径。正则适合结构明确、输入受控的格式;面对编码、查询参数、IPv6 和平台路径差异时,应使用标准库解析器。
核心原理
- URL 模式可以按协议、主机、可选端口和路径分组。
- 文件路径模式应明确使用哪种平台分隔符。
- 命名捕获组便于把字段转换为字典。
- 可选字段未出现时会返回 None。
- 生产 URL 解析优先使用 urllib.parse,文件路径优先使用 pathlib。
本课正则只处理 HTTP 或 HTTPS、常见主机名、可选端口和不含空格的路径,不覆盖所有合法 URL。
基础用法
本课涉及的核心写法如下:
text
(?P<scheme>https?)://
(?P<host>...)
(?P<port>:[0-9]+)?
(?P<path>/[^?#]*)?正则适合受控提取和日志分析。若需要处理查询参数、百分号编码、IPv6、国际化域名或 Windows 路径,应使用对应标准库。
完整可运行示例
将代码保存为:
text
url_path_extract.pypython
import re
from urllib.parse import urlparse
url_pattern = re.compile(
r"(?P<scheme>https?)://"
r"(?P<host>[A-Za-z0-9.-]+)"
r"(?::(?P<port>[0-9]+))?"
r"(?P<path>/[^?#]*)?"
)
urls = [
"https://example.com/docs/index.html",
"http://localhost:8080/api/users",
]
for url in urls:
match = url_pattern.fullmatch(url)
print(f"正则字段:{match.groupdict() if match else None}")
parsed = urlparse(url)
print(
f"标准库:scheme={parsed.scheme}, "
f"host={parsed.hostname}, port={parsed.port}, path={parsed.path}"
)
path_pattern = re.compile(
r"(?P<directory>(?:/[^/]+)*/)?"
r"(?P<filename>[^/]+?)"
r"(?:\.(?P<extension>[A-Za-z0-9]+))?"
)
path = "/opt/app/config/settings.json"
path_match = path_pattern.fullmatch(path)
print(f"路径字段:{path_match.groupdict() if path_match else None}")运行命令:
bash
python url_path_extract.py预期输出
text
正则字段:{'scheme': 'https', 'host': 'example.com', 'port': None, 'path': '/docs/index.html'}
标准库:scheme=https, host=example.com, port=None, path=/docs/index.html
正则字段:{'scheme': 'http', 'host': 'localhost', 'port': '8080', 'path': '/api/users'}
标准库:scheme=http, host=localhost, port=8080, path=/api/users
路径字段:{'directory': '/opt/app/config/', 'filename': 'settings', 'extension': 'json'}Tips
- 先明确 URL 或路径的受控范围。
- 复杂 URL 使用 urllib.parse。
- 跨平台路径使用 pathlib。
- 可选端口和路径字段可能返回 None。
常见错误
1. 用简单点号匹配主机
点号是通配符,域名中的字面点号必须正确处理。
2. 假设所有路径使用正斜杠
Windows 和 POSIX 路径规则不同。
3. 用一条正则覆盖全部 URL 标准
IPv6、编码和国际化域名会让模式迅速失控。
本课练习
- 提取一个 HTTPS URL 的协议、主机、端口和路径。
- 使用 urllib.parse 解析同一 URL 并比较。
- 从 POSIX 路径提取目录、文件名和扩展名。
- 说明为何 Windows 路径需要单独设计。
按自己的节奏,确认真正理解。