CI/CD / 系统课时

控制重复部署与并发

控制重复部署与并发

同一环境被两个流水线同时部署时,后开始的任务可能覆盖前一个任务,甚至出现一半文件来自版本 A、一半来自版本 B。本节用流水线并发组、服务器部署锁和幂等脚本建立三层防线,让重复触发可以安全收敛。

学习目标

  • 识别重复部署和并发写入同一环境的主要风险
  • 使用流水线并发组与服务器锁串行化部署
  • 把部署脚本改造成可重复执行的幂等操作

先限制流水线并发

第一层应在 CI/CD 平台阻止同一环境同时运行多个部署任务。以 GitHub Actions 为例,可以按环境名设置并发组,并让新任务取消同组中仍未执行完成的旧任务。

yaml
name: deploy-production

on:
  workflow_dispatch:
  push:
    branches:
      - main

concurrency:
  group: deploy-production
  cancel-in-progress: true

jobs:
  deploy:
    runs-on: ubuntu-latest
    steps:
      - name: Deploy
        run: ./scripts/deploy.sh production

生效行为:同一时间只保留一个 deploy-production 组任务继续运行;新的发布进入后,旧的未完成任务会被取消。验证时可以连续触发两次流水线,确认不会出现两个生产部署步骤并行执行。

并发组只能约束“经过这个平台的任务”。人工 SSH、另一套流水线或故障重试仍可能绕过,因此服务器端还需要独立的互斥锁。

在服务器端获取部署锁

Linux 上可以用 flock 对固定锁文件加独占锁。没有拿到锁的部署应立即失败或等待有限时间,而不是继续修改线上目录。

流水线并发组、服务器锁与幂等部署的三层防线

下面脚本最多等待 30 秒获取 /var/lock/myapp-deploy.lock。锁由文件描述符持有,脚本退出后会自动释放。

bash
set -euo pipefail

LOCK_FILE=/var/lock/myapp-deploy.lock

exec 9>"$LOCK_FILE"
if ! flock -w 30 9; then
  echo "deployment lock timeout"
  exit 1
fi

echo "deployment lock acquired"
# 后续部署步骤必须都在持锁期间执行
sleep 1
echo "deployment finished"

预期输出

text
deployment lock acquired
deployment finished

如果 30 秒内已有其他进程持续持锁,预期结果是退出码非 0,并输出 deployment lock timeout。这样可以让流水线明确失败,而不是悄悄叠加第二次部署。

让部署脚本可以重复执行

互斥只能防止“同时执行”,不能解决“同一版本被连续执行两次”。幂等脚本应先判断目标版本是否已经部署;若已生效则直接退出,不重复覆盖文件、不重复执行迁移,也不重复重启服务。

bash
set -euo pipefail

APP_ROOT=/srv/myapp
RELEASE_ID="<ID>"
RELEASE_DIR="$APP_ROOT/releases/$RELEASE_ID"
CURRENT_TARGET="$(readlink -f "$APP_ROOT/current" 2>/dev/null || true)"

if [ "$CURRENT_TARGET" = "$RELEASE_DIR" ]; then
  echo "already deployed: $RELEASE_ID"
  exit 0
fi

mkdir -p "$RELEASE_DIR"
test -f "$RELEASE_DIR/app.jar"

ln -sfn "$RELEASE_DIR" "$APP_ROOT/current.next"
mv -Tf "$APP_ROOT/current.next" "$APP_ROOT/current"

systemctl restart myapp
echo "deployed: $RELEASE_ID"

预期输出

text
deployed: <ID>

同一版本再次执行时,预期输出为:

text
already deployed: <ID>

这里把版本目录视为不可变输入,因此脚本只负责切换,不在已存在目录中覆盖文件。若部署还包含数据库迁移、缓存预热等副作用,应为这些步骤增加独立的版本记录或幂等判断,不能仅靠目录检查。

处理取消、失败与锁释放

流水线被取消时,远端命令可能已经执行到一半,所以部署过程应遵循“先准备、后切换”的原则:下载和校验制品可以在未生效目录完成,只有所有前置步骤成功后才原子更新 current。这样即使任务中断,线上入口仍指向旧版本。

服务器锁不要通过创建普通文件后手工删除来模拟,因为异常退出可能留下“僵尸锁”。flock 绑定文件描述符,进程结束后内核会释放锁,更适合部署互斥。若部署跨多台服务器,则单机 flock 只能保护单台机器,需要在流水线层继续保证同一环境只有一个发布编排器。

验证没有发生并发覆盖

验证时可以故意并行触发两次部署:第一层应让平台只保留一个任务,绕过平台直接在服务器上并发执行脚本时,第二个进程也必须被 flock 拦住。随后再次部署同一版本,应得到 already deployed,且服务不发生额外重启。

可靠的并发控制不是只加一把锁,而是让平台调度负责减少重复任务、服务器锁负责最终互斥、幂等脚本负责重复执行安全。三层同时存在,才能覆盖重试、人工操作和异常中断这些真实场景。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

控制重复部署与并发

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通