命令行与文本处理 / 系统课时

日志清洗综合实践

日志清洗综合实践

学习目标

  • 综合解析固定格式日志。
  • 脱敏邮箱与 IP 地址。
  • 处理无法解析的异常行。
  • 输出结构化结果与清洗统计。

问题背景或应用场景

真实日志清洗通常包含多个步骤:限制输入大小、解析字段、规范化空白、脱敏个人信息、保留异常行并生成统计。将这些步骤组合起来,可以形成可测试的工程化处理流程。

核心原理

  1. 清洗入口应限制单行最大长度。
  2. 稳定字段通过命名组提取。
  3. 敏感信息脱敏应由明确的替换函数处理。
  4. 无法解析或超过限制的记录必须进入错误统计。
  5. 输出应采用结构化格式,便于后续索引和分析。

本课示例处理固定日志格式,脱敏邮箱本地部分和 IP 最后一段,并输出 JSON 字典。模式变化、脱敏规则和异常数量都可以编写自动化测试。

基础用法

本课涉及的核心写法如下:

text
命名捕获组提取字段
re.sub() 加替换函数脱敏
json.dumps() 输出结构化结果
统计成功、失败与超长记录

生产环境还应加入批次大小、流式读取、编码异常、日志轮转、审计记录和性能监控。

完整可运行示例

将代码保存为:

text
log_cleaning_project.py
python
import json
import re

MAX_LINE_LENGTH = 300

log_pattern = re.compile(
    r"(?P<time>[0-9]{4}-[0-9]{2}-[0-9]{2}T[0-9]{2}:[0-9]{2}:[0-9]{2}) "
    r"(?P<level>INFO|WARN|ERROR) "
    r"\[(?P<thread>[^]]+)\] "
    r"trace=(?P<trace>[A-Za-z0-9-]+) "
    r"user=(?P<email>[^ ]+) "
    r"ip=(?P<ip>[0-9]{1,3}(?:\.[0-9]{1,3}){3}) "
    r"msg=(?P<message>.+)"
)

email_pattern = re.compile(
    r"(?P<local>[A-Za-z0-9._%+-]+)@(?P<domain>[A-Za-z0-9.-]+)"
)
ip_pattern = re.compile(
    r"(?P<prefix>[0-9]{1,3}(?:\.[0-9]{1,3}){2})\.[0-9]{1,3}"
)

def mask_email(value: str) -> str:
    match = email_pattern.fullmatch(value)
    if not match:
        return "[invalid-email]"
    local = match.group("local")
    return local[:1] + "***@" + match.group("domain")

def mask_ip(value: str) -> str:
    return ip_pattern.sub(r"\g<prefix>.***", value)

def clean_line(line: str) -> tuple[dict | None, str | None]:
    if len(line) > MAX_LINE_LENGTH:
        return None, "line-too-long"

    match = log_pattern.fullmatch(line.strip())
    if not match:
        return None, "parse-failed"

    record = match.groupdict()
    record["email"] = mask_email(record["email"])
    record["ip"] = mask_ip(record["ip"])
    record["message"] = re.sub(r"[ \t]+", " ", record["message"]).strip()
    return record, None

lines = [
    "2026-07-25T10:15:30 INFO [http-1] trace=abc-123 user=alice@example.com ip=192.168.1.25 msg=login   success",
    "2026-07-25T10:16:00 ERROR [http-2] trace=def-456 user=bob@example.com ip=10.0.0.8 msg=database timeout",
    "invalid log line",
]

success = 0
errors = {}

for line in lines:
    record, error = clean_line(line)
    if record:
        success += 1
        print(json.dumps(record, ensure_ascii=False, sort_keys=True))
    else:
        errors[error] = errors.get(error, 0) + 1

print(f"成功数:{success}")
print(f"错误统计:{json.dumps(errors, ensure_ascii=False, sort_keys=True)}")

运行命令:

bash
python log_cleaning_project.py

预期输出

text
{"email": "a***@example.com", "ip": "192.168.1.***", "level": "INFO", "message": "login success", "thread": "http-1", "time": "2026-07-25T10:15:30", "trace": "abc-123"}
{"email": "b***@example.com", "ip": "10.0.0.***", "level": "ERROR", "message": "database timeout", "thread": "http-2", "time": "2026-07-25T10:16:00", "trace": "def-456"}
成功数:2
错误统计:{"parse-failed": 1}

Tips

  • 清洗前保留原始日志或可追溯标识。
  • 脱敏规则应经过安全和合规评审。
  • 异常行必须统计,不能静默丢弃。
  • 大文件应使用流式读取,不要一次加载全部内容。

常见错误

1. 脱敏后无法追踪问题

应保留受控原始数据或不可逆关联标识,满足审计需求。

2. 只处理成功记录

异常比例上升可能代表日志格式变化或攻击输入。

3. 未限制行长度

超长行可能增加内存和正则执行风险。

本课练习

  1. 增加 WARN 日志并验证统计。
  2. 为非法邮箱设计处理策略。
  3. 增加超长日志测试。
  4. 为清洗函数编写成功、失败、脱敏和空白规范化测试。
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

日志清洗综合实践

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通