NoSQL 与搜索 / 系统课时

压测、调优与故障演练

压测、调优与故障演练

本课建立一套可重复的搜索验收流程:用读写压测量化吞吐和延迟,用固定测试集检查结果相关性,再按监控证据调优,并在隔离环境中验证节点故障后的恢复能力。

学习目标

  • 设计可复现的搜索读写压测与验收指标
  • 使用固定测试集检测相关性回退
  • 按监控证据调优并完成节点故障演练

先定义可验收的指标

压测前先冻结索引版本、数据量、查询集合和机器规格,否则不同轮次无法比较。性能指标至少包括吞吐量、p95 延迟、错误率和资源利用率;质量指标至少包括核心查询命中率、零结果率和人工确认的前几名结果。

不要一开始就追求极限 QPS。先用接近日常流量的基线场景验证稳定性,再逐步提高并发,直到延迟或错误率越过目标。每轮只改变一个变量,例如分片数、刷新间隔或查询结构,才能判断收益来自哪里。

搜索压测与调优闭环

执行读写压测

读压测应覆盖真实关键词分布、分页大小和筛选条件。下面的完整 Bash 示例会生成 k6 脚本并对 POST /api/search 执行阶梯式压测。运行前需安装 k6,并把 BASE_URL 改为隔离测试环境地址。

bash
#!/usr/bin/env bash
set -euo pipefail

cat > /tmp/search-test.js <<'EOF'
import http from 'k6/http';
import { check, sleep } from 'k6';
import { Trend } from 'k6/metrics';

// 单独记录业务搜索耗时,便于与通用 HTTP 指标对照
const searchLatency = new Trend('search_latency');

export const options = {
  // 逐步升压可以观察系统从稳定到越过阈值的拐点
  stages: [
    { duration: '30s', target: 20 },
    { duration: '60s', target: 50 },
    { duration: '30s', target: 0 },
  ],
  thresholds: {
    http_req_failed: ['rate<0.01'],
    http_req_duration: ['p(95)<300'],
    search_latency: ['p(95)<300'],
  },
};

const baseUrl = __ENV.BASE_URL || 'http://localhost:8080';

export default function () {
  // 所有虚拟用户使用同一请求结构,保证不同轮次可比较
  const response = http.post(
    `${baseUrl}/api/search`,
    JSON.stringify({ keyword: '无线鼠标', page: 1, size: 20 }),
    { headers: { 'Content-Type': 'application/json' } },
  );

  searchLatency.add(response.timings.duration);
  check(response, {
    'status is 200': (r) => r.status === 200,
    'response has body': (r) => Boolean(r.body),
  });
  sleep(0.2);
}
EOF

BASE_URL="http://<HOST>:<PORT>" k6 run /tmp/search-test.js

预期输出

text
checks.........................: <PASS_RATE>% ✓ <PASS_COUNT> ✗ <FAIL_COUNT>
http_req_failed................: <ERROR_RATE>%
http_req_duration..............: avg=<AVG_MS> p(95)=<P95_MS>
search_latency.................: avg=<AVG_MS> p(95)=<P95_MS>

<HOST>、<PORT> 和各项数值由实际环境决定。若阈值失败,k6 会以非零状态退出,可直接作为发布门禁。

写压测必须使用独立索引和可清理数据。下面生成 1000 条商品并通过 Bulk API 写入,随后输出是否存在单条失败以及总耗时。

bash
#!/usr/bin/env bash
set -euo pipefail

ES_URL="${ES_URL:-http://localhost:9200}"
INDEX_NAME="products_write_pressure"

# 每轮重建独立索引,避免历史数据影响写入结果
curl -sS -w '\n' -X DELETE "${ES_URL}/${INDEX_NAME}" >/dev/null || true
curl -sS -w '\n' -X PUT "${ES_URL}/${INDEX_NAME}"   -H 'Content-Type: application/json'   -d '{"settings":{"index":{"number_of_replicas":0,"refresh_interval":"30s"}}}' >/dev/null

# 生成固定规模的 NDJSON,便于多轮测试横向比较
python3 - <<'PY' > /tmp/products-write.ndjson
import json

for product_id in range(1, 1001):
    print(json.dumps({"index": {"_index": "products_write_pressure", "_id": product_id}}))
    print(json.dumps({
        "name": f"压测商品-{product_id}",
        "category": "pressure-test",
        "price": product_id / 10
    }, ensure_ascii=False))
PY

# 计时范围只覆盖 Bulk 请求,不包含测试数据生成
start_ms=$(date +%s%3N)
response=$(curl -sS -w '\n' -X POST "${ES_URL}/_bulk"   -H 'Content-Type: application/x-ndjson'   --data-binary @/tmp/products-write.ndjson)
end_ms=$(date +%s%3N)

# HTTP 200 不代表每个文档都成功,必须读取 errors 字段
errors=$(printf '%s' "${response}" | python3 -c   'import json,sys; print(str(json.load(sys.stdin)["errors"]).lower())')
printf 'errors=%s documents=1000 duration_ms=%s\n'   "${errors}" "$((end_ms - start_ms))"

预期输出

text
errors=false documents=1000 duration_ms=<TIME>

<TIME> 取决于节点规格、网络和磁盘。若 errors=true,应检查 Bulk 响应中失败的 items,不能只依据 HTTP 状态码判断写入成功。完成后删除测试索引,避免压测数据占用磁盘。

检查搜索相关性

性能达标不代表结果正确。应维护固定查询及其期望商品,把它作为每次索引发布和调优后的回归测试。下面的完整示例检查期望商品是否出现在前五条结果中。

bash
#!/usr/bin/env bash
set -euo pipefail

python3 -m pip install requests >/dev/null

cat > /tmp/relevance_test.py <<'PY'
import os
import sys
import requests

base_url = os.getenv("BASE_URL", "http://localhost:8080")
# 固定测试集应进入版本控制,避免临时修改期望结果
cases = [
    {"keyword": "无线鼠标", "expectedId": "1002"},
    {"keyword": "机械键盘", "expectedId": "1001"},
]

failed = 0

for case in cases:
    # 使用与线上相同的搜索接口,而不是直接绕过应用查询 ES
    response = requests.post(
        f"{base_url}/api/search",
        json={"keyword": case["keyword"], "page": 1, "size": 5},
        timeout=5,
    )
    response.raise_for_status()

    # 这里只检查 Hit@5;需要排序质量时可扩展为 MRR 或 NDCG
    product_ids = [str(item["id"]) for item in response.json()["items"]]
    passed = case["expectedId"] in product_ids
    print(f'{case["keyword"]}: {"PASS" if passed else "FAIL"}')
    failed += 0 if passed else 1

print(f"summary: {len(cases) - failed}/{len(cases)} passed")
sys.exit(1 if failed else 0)
PY

BASE_URL="http://<HOST>:<PORT>" python3 /tmp/relevance_test.py

预期输出

text
无线鼠标: PASS
机械键盘: PASS
summary: 2/2 passed

如果接口字段不是 items[].id,应按实际响应修改解析逻辑。测试集应覆盖品牌词、类目词、型号词、同义词、错别字和无结果查询,避免只验证最容易命中的样例。

按证据定位并调优

先判断瓶颈位于应用、网络还是 Elasticsearch。应用线程池耗尽时,增加分片通常无效;数据节点 CPU 高且查询线程池排队时,应先检查查询复杂度和分片数量;磁盘延迟高时,应检查段合并、刷新频率和存储性能。

常见调优顺序是:删除不必要的聚合与高亮、限制返回字段、避免深分页、修正分片数量、在批量写入阶段临时调大 refresh_interval,稳定后再恢复。每项改动都要用同一脚本复测,并记录吞吐、p95、错误率和相关性结果。

下面的配置片段依赖目标索引已经存在,只用于展示批量导入前后如何调整刷新间隔。

bash
ES_URL="${ES_URL:-http://localhost:9200}"
INDEX_NAME="products_v20260803"

# 批量写入前降低刷新频率,减少小段生成
curl -sS -w '\n' -X PUT "${ES_URL}/${INDEX_NAME}/_settings"   -H 'Content-Type: application/json'   -d '{"index":{"refresh_interval":"30s"}}'

# 导入完成后恢复查询侧需要的近实时可见性
curl -sS -w '\n' -X PUT "${ES_URL}/${INDEX_NAME}/_settings"   -H 'Content-Type: application/json'   -d '{"index":{"refresh_interval":"1s"}}'

预期输出

text
{"acknowledged":true}
{"acknowledged":true}

第一条命令降低批量导入期间的刷新频率,第二条恢复近实时可见性。具体值必须结合写入量、搜索实时性和磁盘能力复测,不能机械套用。

演练节点故障与恢复

故障演练必须在隔离测试集群中进行,并提前确认副本数大于零。下面假设节点运行在名为 es-data-2 的 Docker 容器中:先记录健康状态,再停止节点;同时在另一个终端持续运行前面的读压测,最后启动节点并等待恢复。

bash
#!/usr/bin/env bash
set -euo pipefail

ES_URL="${ES_URL:-http://localhost:9200}"
FAILED_NODE="es-data-2"

# 故障前记录基线,停止一个数据节点后观察副本接管
curl -sS -w '\n' "${ES_URL}/_cluster/health?pretty"
docker stop "${FAILED_NODE}"
curl -sS -w '\n' "${ES_URL}/_cluster/health?wait_for_status=yellow&timeout=60s&pretty"
# 节点恢复后等待分片重新分配完成
docker start "${FAILED_NODE}"
curl -sS -w '\n' "${ES_URL}/_cluster/health?wait_for_status=green&timeout=120s&pretty"

预期输出

text
{
  "cluster_name" : "<CLUSTER_NAME>",
  "status" : "green",
  <OTHER_FIELDS>
}
es-data-2
{
  "status" : "<STATUS_AFTER_FAILURE>",
  "timed_out" : false,
  <OTHER_FIELDS>
}
es-data-2
{
  "status" : "green",
  "timed_out" : false,
  <OTHER_FIELDS>
}

<STATUS_AFTER_FAILURE> 可能是 green 或 yellow,取决于副本位置和重新分配速度。演练期间应持续执行核心查询,并记录错误率和恢复时间;若出现 red,优先检查是否存在没有可用副本的主分片。

验收与留档

一次完整验收应保存测试脚本、索引版本、数据量、集群规格、参数变更、性能结果、相关性结果和故障恢复时间。只有所有门槛同时通过,才能把调优配置和索引版本发布到生产。

不要只保留“最快的一轮”。基线、变更项、结果和结论应成组记录,失败结果同样有价值,因为它能阻止团队重复尝试无效方案。

本课总结

  • 压测必须固定环境和查询集,并同时观察吞吐、延迟、错误率与资源指标
  • 任何性能调优都要通过相关性回归,防止速度提升却损害搜索质量
  • 节点故障演练应在有副本的隔离集群中执行,并量化恢复过程

下一课预告

下一课可以把索引发布、性能门禁、相关性回归和故障验收串成自动化流水线,让商品搜索系统具备持续交付能力。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

压测、调优与故障演练

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通