可观测性与稳定性 / 系统课时
Mapping 在索引中负责什么
Mapping 在索引中负责什么
日志进入 Elasticsearch 后,字段并不是只有“名字和值”。搜索引擎还需要知道时间戳是不是日期、状态码是不是数字、消息正文是否需要分词。Mapping 就负责记录这些字段定义,并直接影响数据怎样建立索引以及后续能够怎样查询。
学习目标
- 理解 Mapping 与日志文档字段之间的关系
- 区分
keyword、text、数值和日期字段的典型搜索行为 - 知道错误字段类型为什么常常需要通过新索引重新建立数据
Mapping 描述字段怎样被索引
Mapping 可以理解为索引中的字段结构定义。它记录字段名称、数据类型以及与索引行为有关的部分参数。搜索引擎接收到文档后,会按照 Mapping 决定怎样解析字段并建立可供检索的数据结构。
例如,一份日志可能包含时间、级别、消息和 HTTP 状态码。下面是一个典型 Mapping:
{
"mappings": {
"properties": {
"@timestamp": {
"type": "date"
},
"level": {
"type": "keyword"
},
"message": {
"type": "text"
},
"status_code": {
"type": "integer"
}
}
}
}这段配置生效后,@timestamp 会按日期处理,status_code 可以执行数值范围查询,level 适合按完整值筛选和聚合,而 message 会面向全文搜索建立分析后的索引。可以通过索引的 Mapping 查询接口检查最终字段定义是否符合预期。
字段类型决定能做什么查询
同样是 JSON 中看起来像字符串的值,使用不同 Mapping 后,搜索方式可能完全不同。
| 字段类型 | 日志中的典型字段 | 主要用途 |
|---|---|---|
keyword |
level、host.name、trace_id |
精确筛选、排序、聚合 |
text |
message、异常描述 |
分词后的全文检索 |
date |
@timestamp |
时间范围筛选和时间排序 |
integer、long |
状态码、耗时、字节数 | 数值比较、范围查询和统计 |
例如日志级别 ERROR 通常希望作为一个完整值参与筛选和聚合,因此更适合 keyword。而消息 connection timeout from payment service 往往希望通过 timeout 或 payment 等词搜索,所以通常使用 text。
Mapping 不只是文档格式说明
关系型数据库的表结构通常会直接限制某一列可以保存什么类型的数据,而 Elasticsearch 的 Mapping 更关注字段如何被解析和建立索引。在启用动态字段发现时,文档中第一次出现的新字段还可能由搜索引擎自动推断类型。
这种自动推断很方便,但日志系统中也容易留下隐患。例如第一条日志把 duration_ms 写成字符串,后续即使发送数值,也可能与已经建立的字段类型冲突;日期格式不一致时,也可能导致文档写入失败。
因此,稳定的生产日志字段通常应该通过显式 Mapping 或索引模板提前约束,而不是完全依赖第一批数据决定字段类型。
已建立的字段类型不能随意改写
Mapping 一旦用于索引现有数据,字段的核心类型通常不能直接从一种类型改成另一种类型。例如已经按 text 建立索引的字段,不能简单修改为 integer,因为底层已经生成的数据结构与新的解释方式不兼容。
常见处理方式是创建具有正确 Mapping 的新索引,再把原有数据重新索引过去。对集中日志平台而言,这也是为什么索引模板要在日志正式持续写入前设计好:字段类型错误越晚发现,需要重建的数据量通常越大。
判断一个 Mapping 是否合理时,可以从实际查询需求反推:需要全文搜索的字段使用适合分析的类型,需要精确过滤和聚合的字段保留精确值,需要范围比较的数据使用数值或日期类型。Mapping 的价值不只是“描述字段”,而是提前决定日志数据以后能够怎样被搜索和分析。