大数据与流处理 / 系统课时
管理连接与敏感配置
管理连接与敏感配置
生产 CDC 作业通常要连接源数据库、目标系统和外部服务。真正棘手的不是把连接参数写出来,而是让同一份作业能跨环境部署,同时避免密码、令牌等敏感信息进入代码仓库、镜像或提交脚本。
学习目标
- 区分普通环境配置与敏感配置的管理方式
- 使用外部配置和环境变量解除作业与具体环境的绑定
- 理解生产环境中密钥注入、权限控制和轮换的基本原则
把连接信息拆成两类
数据库主机、端口、库名和目标端地址通常随环境变化,但并非都属于秘密;用户名、密码、访问令牌等则属于敏感信息。生产部署应同时解决环境差异和秘密泄露,而不是简单把所有内容搬进一个配置文件。
推荐让作业只声明自己需要哪些参数,不在源码中固化具体值。普通配置可以由部署系统提供,敏感值则由 Secret 管理系统或受控环境变量在运行时注入。

用环境变量承接部署参数
以 Flink CDC Pipeline YAML 为例,可以让部署脚本先从环境中取得连接参数,再生成仅供本次部署使用的配置文件。下面的 Shell 示例要求部署环境已经设置对应变量,并通过 envsubst 完成替换。
set -eu
: "${SOURCE_HOST:?SOURCE_HOST is required}"
: "${SOURCE_PORT:?SOURCE_PORT is required}"
: "${SOURCE_USER:?SOURCE_USER is required}"
: "${SOURCE_PASSWORD:?SOURCE_PASSWORD is required}"
cat > /tmp/cdc-pipeline.yaml.template <<'EOF'
source:
type: mysql
hostname: ${SOURCE_HOST}
port: ${SOURCE_PORT}
username: ${SOURCE_USER}
password: ${SOURCE_PASSWORD}
tables: inventory\.products
server-id: 5400-5404
sink:
type: values
EOF
envsubst < /tmp/cdc-pipeline.yaml.template > /tmp/cdc-pipeline.yaml
printf 'pipeline config generated: %s\n' /tmp/cdc-pipeline.yaml预期输出:
pipeline config generated: /tmp/cdc-pipeline.yaml这里使用 values sink 只是为了让示例聚焦连接配置;实际生产目标端应替换为真实 sink 配置。<PATH> 等实际部署路径也可能不同。
不要把秘密变成日志
外部化配置并不自动等于安全。如果启动脚本执行 env、开启 Shell 的 set -x,或者异常处理直接打印完整配置,密码仍可能进入 CI 日志和 Flink 日志。排障输出应只保留主机、端口、库名等必要字段,对密码和令牌进行省略或脱敏。
Secret 的读取权限也应遵循最小权限原则。CDC 源端账号只授予采集所需的数据库权限;目标端账号只授予写入目标对象所需的权限。不要因为部署方便而让多个环境共享同一组高权限账号。
让密钥能够轮换
生产密码和令牌最终都会面临轮换。设计部署方式时,应保证修改 Secret 后可以通过受控重启或重新部署让新凭据生效,而无需重新修改、编译和发布作业代码。
轮换时要先确认外部系统是否允许新旧凭据短暂并存。如果不允许,应把凭据更新与作业重启放在同一变更窗口,并观察连接失败、作业重启和 checkpoint 状态。这样连接配置既能随环境变化,又不会把秘密的生命周期绑死在代码版本上。