NoSQL 与搜索 / 系统课时

管道聚合

管道聚合

管道聚合不直接扫描原始文档,而是读取其他聚合已经产生的桶或指标,再计算变化量、比例和窗口统计。本课用连续五天的销售数据组合 derivative、bucket_script 与 moving_fn。

学习目标

  • 理解普通聚合与管道聚合的执行顺序
  • 使用 buckets_path 引用同级指标
  • 计算日增量、利润率和三日移动平均

管道聚合读取什么数据

普通指标聚合先从文档中得到销售额、成本等数值,管道聚合随后读取这些结果。它不能替代 sum、avg 等源指标,也不会改变已有桶,只会在响应中追加派生指标。

derivative 需要有顺序的桶,常与 date_histogram 配合;bucket_script 可同时引用多个指标;moving_fn 会在相邻桶组成的窗口上执行脚本。三者都通过 buckets_path 指定输入。

管道聚合执行顺序

准备连续日期数据

下面创建 daily_orders 索引,并通过 Bulk API 写入五天汇总数据。请把 <PORT> 替换为实际端口。

bash
# 建立日期、销售额和成本字段
curl -s -X PUT "http://localhost:<PORT>/daily_orders" \
  -H 'Content-Type: application/json' \
  -d '{
    "mappings": {
      "properties": {
        "day": { "type": "date", "format": "yyyy-MM-dd" },
        "sales": { "type": "double" },
        "cost": { "type": "double" }
      }
    }
  }'

# Bulk 请求体必须保留最后一个换行
curl -s -X POST "http://localhost:<PORT>/daily_orders/_bulk?refresh=true" \
  -H 'Content-Type: application/x-ndjson' \
  --data-binary @- <<'NDJSON'
{"index":{"_id":"1"}}
{"day":"2026-07-01","sales":1000,"cost":600}
{"index":{"_id":"2"}}
{"day":"2026-07-02","sales":1200,"cost":700}
{"index":{"_id":"3"}}
{"day":"2026-07-03","sales":900,"cost":500}
{"index":{"_id":"4"}}
{"day":"2026-07-04","sales":1500,"cost":900}
{"index":{"_id":"5"}}
{"day":"2026-07-05","sales":1800,"cost":1000}
NDJSON

预期结果

text
索引 daily_orders 创建成功。
Bulk 响应中的 errors 为 false,五个 index 操作均成功。

在日期桶中定义派生指标

by_day 先创建有序日期桶,sales 与 costs 再计算每个桶的源指标。三个管道聚合必须与被引用指标处于同一个日期桶层级,才能通过相对路径读取结果。

moving_avg_3d 设置 window 为 3,并用 shift: 1 让窗口包含当前桶及前两个桶。利润率脚本先处理销售额为零的边界,再把结果四舍五入到两位小数。

bash
curl -s -X POST "http://localhost:<PORT>/daily_orders/_search" \
  -H 'Content-Type: application/json' \
  -d '{
    "size": 0,
    "aggs": {
      "by_day": {
        "date_histogram": {
          "field": "day",
          "calendar_interval": "day",
          "format": "yyyy-MM-dd",
          "min_doc_count": 0
        },
        "aggs": {
          "sales": {
            "sum": { "field": "sales" }
          },
          "costs": {
            "sum": { "field": "cost" }
          },
          "sales_change": {
            "derivative": {
              "buckets_path": "sales"
            }
          },
          "margin_rate": {
            "bucket_script": {
              "buckets_path": {
                "revenue": "sales",
                "expense": "costs"
              },
              "script": "params.revenue == 0 ? 0 : Math.round(((params.revenue - params.expense) / params.revenue * 100) * 100) / 100.0"
            }
          },
          "moving_avg_3d": {
            "moving_fn": {
              "buckets_path": "sales",
              "window": 3,
              "shift": 1,
              "script": "MovingFunctions.unweightedAvg(values)"
            }
          }
        }
      }
    }
  }'

预期输出中,最后一天的关键桶如下。查询已把日期格式固定为 yyyy-MM-dd,响应中的耗时和分片等动态元数据可能不同。

json
{
  "key_as_string": "2026-07-05",
  "doc_count": 1,
  "sales": { "value": 1800.0 },
  "costs": { "value": 1000.0 },
  "sales_change": { "value": 300.0 },
  "margin_rate": { "value": 44.44 },
  "moving_avg_3d": { "value": 1400.0 }
}

其中日增量为 1800−1500=3001800-1500=300,利润率为 (1800−1000)/1800×100%=44.44%(1800-1000)/1800\times100\%=44.44\%,三日移动平均为 (900+1500+1800)/3=1400(900+1500+1800)/3=1400。

处理空桶与路径错误

derivative 的第一个日期桶没有前一桶,因此不会产生可比较的导数值。若日期中间可能缺失,应让 date_histogram 生成连续空桶,并根据业务决定把缺口跳过还是按零处理,否则变化率可能失真。

buckets_path 引用的是聚合名称,不是字段名称。把路径写成 sales.value 或直接写原字段 sales 都可能导致路径解析错误;本例中的 sales 恰好是指标聚合名称,因此能被管道聚合读取。

管道聚合发生在分桶和源指标计算之后,不能减少前置聚合的扫描成本。若请求创建了大量日期桶,应先限制时间范围,再设置合理的时间间隔和移动窗口。

本课总结

  • 管道聚合读取已有聚合结果,不直接处理原始文档
  • derivative、bucket_script 和 moving_fn 分别适合增量、公式与窗口计算
  • 正确的桶顺序、作用域和 buckets_path 是结果可靠的前提

下一课预告

下一课将继续关注聚合结果的验证与性能控制,学习如何在保证统计含义的同时减少无效桶和计算开销。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

管道聚合

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通