可观测性与稳定性 / 系统课时
IP 和数字字段应该怎样设置
IP 和数字字段应该怎样设置
日志进入 Elasticsearch 后,字段类型会直接决定能否做范围过滤、排序和聚合。本节用访问日志里的客户端 IP、状态码、响应时间和字节数,建立一套可直接落地的 Mapping,并说明为什么这些字段不应该统一存成字符串。
学习目标
- 为客户端 IP 和常见数字字段选择合适的 Elasticsearch 类型
- 使用显式 Mapping 创建日志索引并写入一条样例数据
- 根据数值范围和精度判断何时需要调整字段类型
先按“将来怎么查”选类型
client_ip 适合使用 ip。它能保存 IPv4 和 IPv6,并支持 IP 范围查询;如果把地址存成 keyword,虽然还能做精确匹配,却失去了针对 IP 地址设计的查询能力。
数字字段要先看范围和精度。HTTP 状态码只有几百,使用 short 已经足够;响应时间如果统一记录为整数毫秒,可用 integer;响应字节数可能很大,使用 long 更稳妥。类型不是越大越好,关键是让字段语义和实际数据保持一致。
| 字段 | 推荐类型 | 选择理由 |
|---|---|---|
client_ip |
ip |
支持 IPv4、IPv6 和 IP 范围查询 |
status_code |
short |
状态码范围很小,整数即可 |
response_time_ms |
integer |
以整数毫秒记录时可直接排序、聚合 |
bytes_sent |
long |
适合可能超过 32 位整数范围的字节数 |
用显式 Mapping 固定字段语义
下面的命令创建索引并写入一条日志。示例假设 Elasticsearch 地址为 http://localhost:<PORT>,其中 <PORT> 请替换为实际端口。
ES="http://localhost:<PORT>"
curl -s -o /dev/null -w 'mapping=%{http_code}\n' \
-X PUT "$ES/access-logs-v1" \
-H 'Content-Type: application/json' \
-d '{
"mappings": {
"properties": {
"client_ip": {"type": "ip"},
"status_code": {"type": "short"},
"response_time_ms": {"type": "integer"},
"bytes_sent": {"type": "long"}
}
}
}'
curl -s -o /dev/null -w 'document=%{http_code}\n' \
-X PUT "$ES/access-logs-v1/_doc/1" \
-H 'Content-Type: application/json' \
-d '{
"client_ip": "203.0.113.10",
"status_code": 200,
"response_time_ms": 37,
"bytes_sent": 18432
}'预期输出:
mapping=200
document=201200 表示索引创建请求成功,201 表示文档首次写入成功。实际部署中的主机和端口可能不同,但字段值应继续以数字或 IP 字面量发送,而不是提前转成带单位的文本,例如不要写成 "37 ms" 或 "18 KB"。
验证字段真的按数字工作
类型正确后,日志分析才能直接做条件筛选。例如,下面查询只返回响应时间至少 30 毫秒且状态码不低于 200 的记录。
curl -s "$ES/access-logs-v1/_search" \
-H 'Content-Type: application/json' \
-d '{
"query": {
"bool": {
"filter": [
{"range": {"response_time_ms": {"gte": 30}}},
{"range": {"status_code": {"gte": 200}}}
]
}
}
}'预期结果:
命中上一步写入的文档 1;hits.total.value 为 1。这类范围查询依赖字段已经被映射成数值类型。如果同样的数据被存成 keyword,排序和范围语义会变成字符串规则,后续做延迟分位数、平均值或数值直方图也会受限。
用单位约定避免类型漂移
Mapping 只能约束“这个字段是什么类型”,不能替你定义业务单位。团队还需要固定字段命名与单位,例如始终使用 response_time_ms 表示整数毫秒、bytes_sent 表示原始字节数。不要让不同采集器分别发送 37、0.037 和 "37ms" 到同一个字段。
当日志来源很多时,优先在采集链路中统一字段名、单位和空值表示,再由索引模板或数据流模板复用同一套 Mapping。这样客户端 IP 可以稳定用于地址查询,状态码和性能指标也能直接参与过滤、排序与聚合。