可观测性与稳定性 / 系统课时

IP 和数字字段应该怎样设置

IP 和数字字段应该怎样设置

日志进入 Elasticsearch 后,字段类型会直接决定能否做范围过滤、排序和聚合。本节用访问日志里的客户端 IP、状态码、响应时间和字节数,建立一套可直接落地的 Mapping,并说明为什么这些字段不应该统一存成字符串。

学习目标

  • 为客户端 IP 和常见数字字段选择合适的 Elasticsearch 类型
  • 使用显式 Mapping 创建日志索引并写入一条样例数据
  • 根据数值范围和精度判断何时需要调整字段类型

先按“将来怎么查”选类型

client_ip 适合使用 ip。它能保存 IPv4 和 IPv6,并支持 IP 范围查询;如果把地址存成 keyword,虽然还能做精确匹配,却失去了针对 IP 地址设计的查询能力。

数字字段要先看范围和精度。HTTP 状态码只有几百,使用 short 已经足够;响应时间如果统一记录为整数毫秒,可用 integer;响应字节数可能很大,使用 long 更稳妥。类型不是越大越好,关键是让字段语义和实际数据保持一致。

字段 推荐类型 选择理由
client_ip ip 支持 IPv4、IPv6 和 IP 范围查询
status_code short 状态码范围很小,整数即可
response_time_ms integer 以整数毫秒记录时可直接排序、聚合
bytes_sent long 适合可能超过 32 位整数范围的字节数

用显式 Mapping 固定字段语义

下面的命令创建索引并写入一条日志。示例假设 Elasticsearch 地址为 http://localhost:<PORT>,其中 <PORT> 请替换为实际端口。

bash
ES="http://localhost:<PORT>"

curl -s -o /dev/null -w 'mapping=%{http_code}\n' \
  -X PUT "$ES/access-logs-v1" \
  -H 'Content-Type: application/json' \
  -d '{
    "mappings": {
      "properties": {
        "client_ip": {"type": "ip"},
        "status_code": {"type": "short"},
        "response_time_ms": {"type": "integer"},
        "bytes_sent": {"type": "long"}
      }
    }
  }'

curl -s -o /dev/null -w 'document=%{http_code}\n' \
  -X PUT "$ES/access-logs-v1/_doc/1" \
  -H 'Content-Type: application/json' \
  -d '{
    "client_ip": "203.0.113.10",
    "status_code": 200,
    "response_time_ms": 37,
    "bytes_sent": 18432
  }'

预期输出:

text
mapping=200
document=201

200 表示索引创建请求成功,201 表示文档首次写入成功。实际部署中的主机和端口可能不同,但字段值应继续以数字或 IP 字面量发送,而不是提前转成带单位的文本,例如不要写成 "37 ms" 或 "18 KB"。

验证字段真的按数字工作

类型正确后,日志分析才能直接做条件筛选。例如,下面查询只返回响应时间至少 30 毫秒且状态码不低于 200 的记录。

bash
curl -s "$ES/access-logs-v1/_search" \
  -H 'Content-Type: application/json' \
  -d '{
    "query": {
      "bool": {
        "filter": [
          {"range": {"response_time_ms": {"gte": 30}}},
          {"range": {"status_code": {"gte": 200}}}
        ]
      }
    }
  }'

预期结果:

text
命中上一步写入的文档 1;hits.total.value 为 1。

这类范围查询依赖字段已经被映射成数值类型。如果同样的数据被存成 keyword,排序和范围语义会变成字符串规则,后续做延迟分位数、平均值或数值直方图也会受限。

用单位约定避免类型漂移

Mapping 只能约束“这个字段是什么类型”,不能替你定义业务单位。团队还需要固定字段命名与单位,例如始终使用 response_time_ms 表示整数毫秒、bytes_sent 表示原始字节数。不要让不同采集器分别发送 37、0.037 和 "37ms" 到同一个字段。

当日志来源很多时,优先在采集链路中统一字段名、单位和空值表示,再由索引模板或数据流模板复用同一套 Mapping。这样客户端 IP 可以稳定用于地址查询,状态码和性能指标也能直接参与过滤、排序与聚合。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

IP 和数字字段应该怎样设置

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通