NoSQL 与搜索 / 知识点

向量数据库操作速查手册

手册条目

备份集合数据、字段定义和索引配置,降低误删除与故障风险。

备份向量数据

以下以自建 Milvus 和 milvus-backup 为例。适合在删除集合、升级集群或迁移前,将集合原始数据、字段与分区元数据、索引定义备份到独立对象存储;实际索引文件不会进入备份,恢复时需要重建。

命令定位

先准备与当前部署匹配的 backup.yaml。其中源 Milvus 地址、认证信息、源存储桶及 rootPath 必须与线上实例一致,备份存储应使用独立桶或独立前缀。先执行 check,连接检查失败时不要继续创建备份。

基本语法

bash
milvus-backup --config <PATH>/backup.yaml check
milvus-backup --config <PATH>/backup.yaml create -n <BACKUP_NAME> --filter '<DATABASE>.<COLLECTION>'
milvus-backup --config <PATH>/backup.yaml list

--filter 可指定单个集合、逗号分隔的多个集合,或用带引号的 <DATABASE>.* 选择某数据库全部集合。省略过滤条件通常会备份配置可见范围内的全部集合。

高频用法

下面脚本先检查连接,再为 default.products 创建带时间戳的备份,并确认备份名已出现在列表中。执行目录需能访问 milvus-backup 和 backup.yaml。

bash
set -euo pipefail

CONFIG="./backup.yaml"
COLLECTION="default.products"
BACKUP_NAME="products-$(date +%Y%m%d-%H%M%S)"

# check 同时验证 Milvus、源存储和备份存储,失败即终止。
milvus-backup --config "$CONFIG" check
milvus-backup --config "$CONFIG" create \
  -n "$BACKUP_NAME" \
  --filter "$COLLECTION"

# create 成功不等于已被后续流程发现,再用 list 做一次独立确认。
milvus-backup --config "$CONFIG" list | grep -Fq "$BACKUP_NAME"
printf 'BACKUP_OK name=%s collection=%s\n' "$BACKUP_NAME" "$COLLECTION"

预期输出

text
BACKUP_OK name=products-<TIME> collection=default.products

<TIME> 为实际执行时间。看到该末行表示命令成功且备份可被列出;随后还应在对象存储的备份前缀中确认元数据文件和数据对象实际存在。

风险与边界

备份期间继续写入可能使业务侧“同一批数据”跨越备份边界。触发条件是有并发写入、删除或结构变更;后果是恢复后记录状态与业务事务点不完全一致。严格一致场景应短暂停写,或使用快照、CDC 等具备明确时间点语义的方案。

milvus-backup 保存原始数据与索引元数据,但不保存已构建的索引文件。若误以为恢复后可立即加载检索,可能遇到无索引或长时间重建。安全做法是记录索引参数,并在恢复时使用索引重建选项或显式创建索引。

不要把对象存储密钥提交到代码仓库。凭据泄露会导致备份数据被读取或删除;生产环境应使用环境变量、IAM 身份或密钥管理服务,并为备份桶配置版本控制、保留策略和最小权限。

排障清单

  • check 报源路径为空或找不到段文件:核对源存储的地址、桶名和 rootPath,注意空字符串、files 与 /files 不是同一路径。
  • list 找不到刚创建的名称:确认创建与查询使用同一份配置、同一备份桶和同一前缀。
  • 备份大小异常小:检查目标集合是否有已落盘数据、过滤条件是否匹配正确数据库与集合,并查看日志中是否出现缺少 insert log。
  • 备份完成后立即做一次隔离恢复演练;只有能恢复并通过数量、结构和检索校验的备份才可视为有效。

兼容性

恢复前按当前 milvus-backup 发布说明核对兼容矩阵,优先使用最新稳定版工具,并只向相同或更高版本的 Milvus 恢复。其他向量数据库应改用其官方快照或导出接口,不要直接套用本条命令。

目录与阅读设置

记录一个想法

向量数据库操作速查手册

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通