命令行与文本处理 / 系统课时
日志清洗综合实践
日志清洗综合实践
学习目标
- 综合解析固定格式日志。
- 脱敏邮箱与 IP 地址。
- 处理无法解析的异常行。
- 输出结构化结果与清洗统计。
问题背景或应用场景
真实日志清洗通常包含多个步骤:限制输入大小、解析字段、规范化空白、脱敏个人信息、保留异常行并生成统计。将这些步骤组合起来,可以形成可测试的工程化处理流程。
核心原理
- 清洗入口应限制单行最大长度。
- 稳定字段通过命名组提取。
- 敏感信息脱敏应由明确的替换函数处理。
- 无法解析或超过限制的记录必须进入错误统计。
- 输出应采用结构化格式,便于后续索引和分析。
本课示例处理固定日志格式,脱敏邮箱本地部分和 IP 最后一段,并输出 JSON 字典。模式变化、脱敏规则和异常数量都可以编写自动化测试。
基础用法
本课涉及的核心写法如下:
text
命名捕获组提取字段
re.sub() 加替换函数脱敏
json.dumps() 输出结构化结果
统计成功、失败与超长记录生产环境还应加入批次大小、流式读取、编码异常、日志轮转、审计记录和性能监控。
完整可运行示例
将代码保存为:
text
log_cleaning_project.pypython
import json
import re
MAX_LINE_LENGTH = 300
log_pattern = re.compile(
r"(?P<time>[0-9]{4}-[0-9]{2}-[0-9]{2}T[0-9]{2}:[0-9]{2}:[0-9]{2}) "
r"(?P<level>INFO|WARN|ERROR) "
r"\[(?P<thread>[^]]+)\] "
r"trace=(?P<trace>[A-Za-z0-9-]+) "
r"user=(?P<email>[^ ]+) "
r"ip=(?P<ip>[0-9]{1,3}(?:\.[0-9]{1,3}){3}) "
r"msg=(?P<message>.+)"
)
email_pattern = re.compile(
r"(?P<local>[A-Za-z0-9._%+-]+)@(?P<domain>[A-Za-z0-9.-]+)"
)
ip_pattern = re.compile(
r"(?P<prefix>[0-9]{1,3}(?:\.[0-9]{1,3}){2})\.[0-9]{1,3}"
)
def mask_email(value: str) -> str:
match = email_pattern.fullmatch(value)
if not match:
return "[invalid-email]"
local = match.group("local")
return local[:1] + "***@" + match.group("domain")
def mask_ip(value: str) -> str:
return ip_pattern.sub(r"\g<prefix>.***", value)
def clean_line(line: str) -> tuple[dict | None, str | None]:
if len(line) > MAX_LINE_LENGTH:
return None, "line-too-long"
match = log_pattern.fullmatch(line.strip())
if not match:
return None, "parse-failed"
record = match.groupdict()
record["email"] = mask_email(record["email"])
record["ip"] = mask_ip(record["ip"])
record["message"] = re.sub(r"[ \t]+", " ", record["message"]).strip()
return record, None
lines = [
"2026-07-25T10:15:30 INFO [http-1] trace=abc-123 user=alice@example.com ip=192.168.1.25 msg=login success",
"2026-07-25T10:16:00 ERROR [http-2] trace=def-456 user=bob@example.com ip=10.0.0.8 msg=database timeout",
"invalid log line",
]
success = 0
errors = {}
for line in lines:
record, error = clean_line(line)
if record:
success += 1
print(json.dumps(record, ensure_ascii=False, sort_keys=True))
else:
errors[error] = errors.get(error, 0) + 1
print(f"成功数:{success}")
print(f"错误统计:{json.dumps(errors, ensure_ascii=False, sort_keys=True)}")运行命令:
bash
python log_cleaning_project.py预期输出
text
{"email": "a***@example.com", "ip": "192.168.1.***", "level": "INFO", "message": "login success", "thread": "http-1", "time": "2026-07-25T10:15:30", "trace": "abc-123"}
{"email": "b***@example.com", "ip": "10.0.0.***", "level": "ERROR", "message": "database timeout", "thread": "http-2", "time": "2026-07-25T10:16:00", "trace": "def-456"}
成功数:2
错误统计:{"parse-failed": 1}Tips
- 清洗前保留原始日志或可追溯标识。
- 脱敏规则应经过安全和合规评审。
- 异常行必须统计,不能静默丢弃。
- 大文件应使用流式读取,不要一次加载全部内容。
常见错误
1. 脱敏后无法追踪问题
应保留受控原始数据或不可逆关联标识,满足审计需求。
2. 只处理成功记录
异常比例上升可能代表日志格式变化或攻击输入。
3. 未限制行长度
超长行可能增加内存和正则执行风险。
本课练习
- 增加 WARN 日志并验证统计。
- 为非法邮箱设计处理策略。
- 增加超长日志测试。
- 为清洗函数编写成功、失败、脱敏和空白规范化测试。
按自己的节奏,确认真正理解。