NoSQL 与搜索 / 系统课时

动态映射控制

动态映射控制

动态映射能让新字段自动进入索引,但未经约束的字段名和错误类型也可能持续扩张映射。本课通过 dynamic、动态模板和字段上限,建立一套既允许受控扩展、又能及时阻止脏数据的映射策略。

学习目标

  • 区分 true、false、strict 与 runtime 的处理结果
  • 使用动态模板统一约束新增字段的类型
  • 通过字段上限和 flattened 防止映射数量失控

先决定未知字段如何处理

dynamic 决定文档出现未声明字段时的行为:true 自动创建映射,false 保留字段于 _source 但不建立索引,strict 直接拒绝文档,runtime 则把新字段加入运行时映射并在查询阶段读取。该参数可以在根映射和内部对象上分别设置。:contentReference[oaicite:0]{index=0}

dynamic 参数处理分支

生产索引通常不应把根级 dynamic 保持为完全开放。更稳妥的做法是显式声明核心字段,把根级设为 strict,只在确实需要扩展的对象上开启动态映射。

用动态模板约束扩展字段

动态模板会根据 Elasticsearch 推断的类型、字段名或完整路径匹配新增字段。常用条件包括 match_mapping_type、match 和 path_match;模板只影响后续动态创建的字段,不会重写已经存在的映射。:contentReference[oaicite:1]{index=1}

下面创建一个受控商品索引:根级拒绝未知字段,attributes 允许动态扩展,但字符串统一映射为 keyword,整数统一映射为 long;键名高度不确定的 extras 使用 flattened,避免每个键都变成独立字段。

http
PUT /products-dynamic-demo
{
  "settings": {
    "index.mapping.total_fields.limit": 200
  },
  "mappings": {
    "dynamic": "strict",
    "dynamic_templates": [
      {
        "attribute_strings": {
          "path_match": "attributes.*",
          "match_mapping_type": "string",
          "mapping": {
            "type": "keyword",
            "ignore_above": 256
          }
        }
      },
      {
        "attribute_integers": {
          "path_match": "attributes.*",
          "match_mapping_type": "long",
          "mapping": {
            "type": "long"
          }
        }
      }
    ],
    "properties": {
      "sku": {
        "type": "keyword"
      },
      "name": {
        "type": "text"
      },
      "attributes": {
        "type": "object",
        "dynamic": true
      },
      "extras": {
        "type": "flattened"
      }
    }
  }
}

预期结果:

json
{
  "acknowledged": true,
  "shards_acknowledged": true,
  "index": "products-dynamic-demo"
}

flattened 会把整个 JSON 对象作为一个字段映射,适合大量且不固定的键;其值按类似 keyword 的方式处理,因此不适合需要分词、数值范围或复杂类型能力的全部业务字段。:contentReference[oaicite:2]{index=2}

写入并检查推断结果

写入文档时,attributes.color 会匹配字符串模板,attributes.weight 会匹配整数模板,而 extras 内部的键不会继续增加映射字段。

http
POST /products-dynamic-demo/_doc/p-1001
{
  "sku": "SKU-1001",
  "name": "轻量旅行背包",
  "attributes": {
    "color": "black",
    "weight": 820
  },
  "extras": {
    "supplier_batch": "B202608",
    "campaign_tag": "summer"
  }
}

GET /products-dynamic-demo/_mapping

预期结果:

text
第一个请求返回 HTTP 201,result 为 created。
映射中 attributes.color 的类型为 keyword,attributes.weight 的类型为 long,extras 的类型仍为 flattened。

实际响应还会包含索引版本、分片结果等动态字段,因此核验时以状态码和上述关键映射为准。

验证严格模式与字段上限

根级为 strict 后,任何未声明且不位于允许扩展对象内的字段都会导致整条文档被拒绝。

http
POST /products-dynamic-demo/_doc/p-1002
{
  "sku": "SKU-1002",
  "name": "城市通勤包",
  "campaign_name": "new-user"
}

预期结果:

text
HTTP 400
错误类型为 strict_dynamic_mapping_exception,文档不会写入。

index.mapping.total_fields.limit 用于限制字段和对象映射总数;达到上限时,默认会拒绝继续引入动态字段的文档。也可以启用 index.mapping.total_fields.ignore_dynamic_beyond_limit 忽略超限字段,但这些字段将进入 _ignored,因此应先评估是否会掩盖数据质量问题。:contentReference[oaicite:3]{index=3}

常见控制误区

不要仅通过不断提高字段上限处理映射爆炸。若上游把用户输入、设备编号或时间戳拼进字段名,即使模板统一为 keyword,每个新键仍会创建映射。应把这类数据改成固定结构的数组、键值对,或放入 flattened 字段。

dynamic: false 也不是数据校验。未知字段仍会留在 _source,只是无法直接搜索;需要拒绝拼写错误或非法字段时,应选择 strict,并在写入失败后修正上游请求。

本课总结

  • 根级 strict 配合局部 dynamic: true,可以同时保证核心结构稳定和扩展字段可用
  • 动态模板负责统一新增字段类型,但不能阻止无限增长的字段名
  • 字段上限用于兜底,任意键集合更适合建模为固定结构或 flattened

下一课预告

下一课将把这些映射控制原则应用到商品索引,完成标题、分类、品牌、价格、属性和库存的搜索型字段设计。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

动态映射控制

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通