架构与系统设计 / 知识点
架构模式高频选型速查
数据与一致性
由协调器明确决定 Saga 每一步调用、成功转移和失败补偿,流程可见性较高;适合步骤较多、分支复杂且需要集中观察业务流程状态的事务。
Saga 编排式
Saga 编排式是一种由中央协调器显式决定各参与者执行顺序、后续分支与补偿动作的分布式事务协作方式;它协调多个本地事务,但不把它们变成一个具有全局原子性的数据库事务。
成立边界
一次 Saga 通常由多个服务各自提交本地事务组成。协调器记录或推导当前流程状态,在一步成功后触发下一步;某一步失败时,则按业务规则调用已经完成步骤对应的补偿动作。
补偿并不等于数据库回滚。已经提交的本地事务可能产生对外可见的中间状态,补偿动作也可能失败,因此实现仍需考虑幂等、重试以及人工介入等边界。

与 Saga 协同式的区别
| 维度 | 编排式 | 协同式 |
|---|---|---|
| 流程决策 | 集中在协调器 | 分散在事件参与者 |
| 后续动作 | 协调器显式触发 | 参与者消费事件后继续发布事件 |
| 流程可见性 | 较容易集中观察 | 通常需要跨事件追踪还原 |
| 耦合重点 | 参与者与协调协议存在依赖 | 参与者依赖事件契约 |
两者都可以实现 Saga,核心差异是谁掌握流程控制权,而不是是否使用消息队列或是否存在补偿事务。
最小例子
订单流程依次需要预留库存和扣款。编排式 Saga 可以由协调器先要求库存服务预留库存,再要求支付服务扣款;若扣款失败,协调器明确要求库存服务释放此前的预留。
常见误解是把协调器当成传统分布式事务管理器。它通常负责业务流程推进和补偿决策,并不能让多个已经独立提交的本地事务自动获得 ACID 意义上的全局原子性。
各参与者根据收到的事件执行本地事务并发布后续事件,不设置中央流程控制器;适合参与者较少、事件边界清楚且希望降低集中协调依赖的流程。
Saga 协同式
Saga 协同式是一种没有中央流程控制器、由各参与者消费业务事件、提交自己的本地事务并发布后续事件来推进流程的分布式事务协作方式。
成立边界
协同式 Saga 的控制逻辑分散在参与者及其事件处理规则中。一个服务完成本地事务后发布事件,其他服务依据事件决定是否执行自己的事务并继续发布新事件;失败同样需要通过失败事件或补偿事件驱动后续处理。
这种模式不意味着参与者彼此完全解耦。服务仍然依赖事件的语义和契约;随着参与者、条件分支和补偿链增加,完整流程可能越来越难从单个服务中直接看出。

与 Saga 编排式的区别
| 维度 | 协同式 | 编排式 |
|---|---|---|
| 流程决策 | 分散在参与者 | 集中在协调器 |
| 推进方式 | 事件触发后续参与者 | 协调器显式发出下一步指令 |
| 中央控制器 | 无 | 有 |
| 复杂流程追踪 | 往往需要关联多个事件 | 较容易从协调器观察 |
协同式的重点是事件驱动的分散协作。使用事件并不能单独证明一个系统采用协同式 Saga;如果中央协调器仍决定每一步和补偿路径,本质上仍更接近编排式。
最小例子
订单服务创建订单后发布“订单已创建”事件;库存服务消费该事件并预留库存,再发布“库存已预留”事件;支付服务据此尝试扣款。若扣款失败,它发布失败事件,库存服务消费后释放预留库存。
常见误解是认为没有中央协调器就没有流程规则。实际上规则只是分散到了事件契约和各参与者的处理逻辑中;参与者过多或分支复杂时,这种分散会提高理解、追踪和变更流程的成本。
在业务事务内同时写入业务数据和待发布事件,再由独立过程投递消息,避免数据库提交成功而消息发送失败造成状态不一致。
Transactional Outbox
Transactional Outbox 是把业务状态变更与待发布事件写入同一个本地数据库事务,再由独立发布过程把事件发送到消息系统的可靠事件模式。
成立边界
它解决的是“数据库提交成功,但消息没有可靠记录下来”的双写问题。关键前提是业务数据和 Outbox 记录能够参与同一个原子事务;事务提交后,即使发布进程暂时故障,事件仍可从 Outbox 恢复并继续投递。

它本身通常不保证消费者只收到一次消息。发布者可能在消息已发送、但尚未来得及把 Outbox 记录标记为已发布时故障,因此恢复后可能再次发送同一事件。
与直接双写的区别
| 方式 | 数据库与事件记录的关系 | 主要风险 |
|---|---|---|
| Transactional Outbox | 业务数据与 Outbox 在同一事务提交 | 后续投递可能重复,需要处理幂等 |
| 先提交数据库再发消息 | 两次独立操作 | 数据已提交而消息发送失败 |
| 先发消息再提交数据库 | 两次独立操作 | 消息已发出而数据库事务失败 |
Outbox 的核心不是让数据库和消息代理共享一个事务,而是先把“需要发送什么”可靠地保存下来,再异步完成外部投递。
最小例子
创建订单时,同一数据库事务写入订单记录和一条 OrderCreated Outbox 记录。事务提交后订单与待发事件同时存在;发布进程随后读取事件并发送。即使发布进程在提交后立即停止,重启后仍能找到尚未完成投递的记录。
常见误解是把 Transactional Outbox 等同于 exactly-once 消息投递。它主要消除业务数据库与事件记录之间的原子性缺口;消息重复、消费幂等、Outbox 清理和失败重试仍需单独设计。
让同一消息被重复投递和处理时不会重复产生业务副作用,通常结合业务唯一键或消费记录实现;适合至少一次投递语义下的消息消费。
幂等消费者
幂等消费者是让同一逻辑消息被重复投递和处理时,不会因此重复产生业务副作用的消息消费设计。
成立边界
判断是否幂等要看业务状态和外部副作用,而不是消费者函数被调用了几次。消息系统采用至少一次投递时,同一消息可能因确认丢失、消费者故障或重试而再次到达,因此消费者需要识别已经处理过的逻辑消息。
去重通常依赖稳定的消息 ID、业务唯一键或消费记录。若“检查是否处理过”和“修改业务数据”分别执行且缺少原子性,并发处理同一消息时仍可能产生重复副作用。

与消息去重的区别
| 概念 | 关注位置 | 回答的问题 |
|---|---|---|
| 幂等消费者 | 消费端业务处理 | 重复处理是否产生额外业务副作用 |
| 消息去重 | 消息链路或消费入口 | 能否识别并过滤重复消息 |
| exactly-once | 特定系统定义的处理语义 | 在其明确边界内是否只产生一次规定效果 |
去重是实现幂等消费者的常见手段,但两者并不完全等价。例如依靠数据库唯一约束阻止重复创建记录,即使重复消息已经进入业务代码,最终业务效果仍可以保持幂等。
最小例子
消费者收到事件 payment-42 后创建一条以该事件 ID 为唯一键的入账记录。消息因确认失败再次投递时,第二次写入受到唯一约束阻止,因此不会形成第二笔入账;消费者再按照应用约定处理这个“已完成”状态。
常见误解是认为消息代理支持重试后,消费者就天然幂等。重试恰恰会增加重复处理的可能性;真正需要核对的是重复消息能否再次触发扣款、发货、积分增加或其他不可重复的业务副作用。
预先生成面向查询的数据视图,用额外存储和更新成本换取低延迟读取;适合聚合计算昂贵、读取频繁且允许视图与源数据存在短暂延迟的场景。
物化视图
物化视图是把查询所需的计算结果预先生成并保存,在读取时直接使用已保存结果,以额外存储和更新成本换取更低的查询延迟。
成立边界
它适合原始查询包含昂贵聚合、连接或转换,并且读取频率明显高于结果重算频率的场景。关键前提是业务能够接受视图与源数据之间存在一定时间差,或者系统能够提供满足要求的刷新机制。
物化结果并不是新的事实来源。源数据发生变化后,视图只有经过同步刷新、增量更新或重新计算才会反映变化,因此设计时必须明确允许的陈旧时间以及刷新失败后的处理方式。

与普通视图的区别
| 概念 | 查询结果是否预先存储 | 主要代价 |
|---|---|---|
| 普通视图 | 通常否,读取时执行其查询逻辑 | 查询时计算成本 |
| 物化视图 | 是,保存已经计算的结果 | 存储、刷新与一致性成本 |
因此,两者虽然都能提供面向查询的数据表示,但性能来源不同:普通视图主要封装查询逻辑,物化视图则通过保存计算结果减少重复计算。
最小例子
电商系统每天需要反复查询“各商品过去 30 天的销售额”。若每次都扫描订单明细并聚合,读取成本较高;可以周期性计算每个商品的销售额并保存为物化结果,查询直接读取该结果。新订单写入后,在下一次刷新完成前看到的销售额可能仍是旧值。
常见误解是把物化视图当成始终与源数据同步的缓存。是否实时、如何刷新以及失败后能陈旧多久,都取决于具体实现和一致性要求,不能仅凭“物化视图”这一名称推断。
扩展与性能
把查询流量分散到数据库副本以降低主库读取压力,但复制延迟可能产生旧数据;适合读多写少且能够定义一致性要求和主库回退策略的系统。
读副本
读副本是从主数据库复制数据、主要承接查询流量的数据库实例,用分散读取负载换取更高的读吞吐,但读取结果可能因复制延迟而落后于主库。
成立边界
读副本适合读多写少、查询压力能够独立扩展,并且部分读取允许短暂陈旧的系统。使用前需要按业务操作定义一致性要求,而不是简单地把所有查询都路由到副本。
写入刚成功后立即读取、权限变更后的校验、余额等强时效数据,通常需要特别处理。如果副本尚未收到对应更新,应用可能读到旧值,因此常见策略包括把特定查询送回主库,或在满足一致性条件后再允许读取副本。

与分片的区别
| 概念 | 数据关系 | 主要解决的问题 |
|---|---|---|
| 读副本 | 多个实例保存源数据的复制结果 | 分散读取压力、提高读取能力 |
| 分片 | 不同分片通常承载不同的数据子集 | 拆分超出单节点能力的数据或负载 |
增加读副本并不会自动扩展主库的写入能力;如果瓶颈来自写吞吐、锁竞争或单节点数据规模,单纯增加副本可能无法解决核心问题。
最小例子
用户修改昵称后,写请求提交到主库并成功返回。如果个人资料页随后从尚未完成复制的副本读取,短时间内可能仍显示旧昵称。对于“写后立即读必须看到新值”的路径,可以让该次读取访问主库;其他允许短暂陈旧的列表查询继续使用副本。
常见误解是认为“数据库有副本”就等于读取天然强一致。副本是否同步、延迟多大以及故障时如何切换取决于具体数据库和复制配置;架构设计必须显式定义可接受的陈旧程度与回退策略。
按分片键把数据和访问负载分散到多个存储节点,突破单节点容量与吞吐上限;适合数据规模持续增长且能稳定选择分片维度的系统。
数据分片
数据分片是按照确定的分片规则,把同一逻辑数据集拆到多个存储节点,使数据容量和访问负载能够随节点数量横向扩展。
成立边界
分片的关键前提是请求能够根据分片键定位目标分片,例如按用户 ID、租户 ID 或区域路由。它解决的是单节点容量、吞吐或热点压力,不等同于复制数据,也不会自动提高单条查询的执行速度。
分片键需要具有足够的离散度,并与主要访问路径匹配。如果大量请求集中到少数键,即使节点很多也可能形成热点;需要频繁跨分片扫描、排序、聚合或事务时,协调成本也会明显增加。

与复制的区别
| 概念 | 数据分布 | 主要目的 |
|---|---|---|
| 分片 | 不同节点保存数据集的不同部分 | 扩展容量和分散访问负载 |
| 复制 | 多个节点保存同一份或近似相同的数据 | 提高可用性、容灾或读取能力 |
实际系统可以同时采用两者,例如先按用户分片,再为每个分片维护副本。此时分片决定“数据属于哪里”,复制决定“同一份数据有多少副本”。
最小例子
假设按 user_id % 4 分成 4 个分片。用户 101 被路由到分片 1,用户 106 被路由到分片 2;两名用户的数据属于同一逻辑用户表,但实际存储在不同节点。增加分片后如何迁移已有数据,则需要额外的再分片策略。
常见误解是认为“增加分片数就能线性提升性能”。如果分片键导致热点,或请求必须访问所有分片,新增节点并不能按相同比例降低负载。
应用读取时先查缓存,未命中再访问数据源并回填,写入时主动失效缓存;适合读多写少并能容忍短暂缓存不一致的通用业务查询。
Cache-Aside
Cache-Aside 是由应用显式管理缓存的模式:读取先查缓存,未命中时读取权威数据源并回填缓存;数据更新后由应用主动删除或失效对应缓存。
成立边界
这种模式适合读多写少、查询结果可缓存,并且业务能够接受缓存与数据源在短时间内不一致的场景。缓存不是权威数据源,缓存丢失后应能从数据库等持久化数据源重新构建。
读取路径通常是“缓存命中直接返回;未命中读取数据源并回填”。写入路径则需要同时考虑数据源与缓存,常见做法是先完成数据源更新,再使旧缓存失效,后续读取重新加载最新值。

与 Read-Through 的区别
| 模式 | 谁负责缓存未命中后的加载 | 应用看到的访问方式 |
|---|---|---|
| Cache-Aside | 应用 | 应用分别访问缓存和数据源 |
| Read-Through | 缓存层或其抽象组件 | 应用主要通过缓存接口读取 |
两者都可以减少重复访问数据源,但职责边界不同。Cache-Aside 中,回源、回填以及缓存失效策略都是应用逻辑的一部分。
最小例子
查询商品 42 时,应用先读取缓存键 product:42。若不存在,就从数据库读取商品并写入该缓存键;商品 42 更新成功后,应用删除 product:42,下一次读取再从数据库加载新值。
常见误解是把 Cache-Aside 理解成“缓存会自动与数据库同步”。实际上缓存和数据源之间没有这种必然关系;并发读写、失效失败或回填时序都可能产生短暂旧值,因此一致性要求较高的业务需要额外控制。
写请求先经过缓存层,由缓存同步更新后端存储,使缓存与持久层更新路径统一;适合希望简化写后缓存一致性且可接受额外写延迟的场景。
Write-Through Cache
Write-Through Cache(写穿缓存)是一种把缓存作为写入路径入口的模式:应用向缓存层提交更新,由缓存层在写入或更新缓存的同时同步更新后端持久存储。
成立边界
这个模式的关键不是“同时写两份数据”,而是写路径由缓存层统一协调。只有当应用的相关写请求确实经过该路径,并且后端写入成功与缓存更新之间具有明确的一致性策略时,才能获得预期的一致性收益。
读取仍可能从缓存命中;缓存未命中如何加载数据则是另一项策略。Write-Through 本身也不意味着缓存与数据库在任意故障下都具备强一致性,实际保证取决于缓存产品的写入语义、失败处理和持久层能力。

与 Cache-Aside、Write-Behind 的区别
| 模式 | 写入路径 | 主要特点 |
|---|---|---|
| Write-Through | 应用 → 缓存 → 持久层 | 写路径集中,持久化完成会增加写延迟 |
| Cache-Aside | 应用直接更新持久层,并自行处理缓存 | 应用承担缓存失效或更新逻辑 |
| Write-Behind | 应用 → 缓存,持久层稍后更新 | 可降低前台写延迟,但存在尚未持久化的数据窗口 |
因此,“应用先写数据库,再更新缓存”通常不属于 Write-Through;判断重点是谁负责把写操作继续传递到持久层。
最小例子
用户把昵称从 A 改为 B。采用 Write-Through 时,应用把 B 写给缓存层,缓存层更新缓存并同步写入持久层;写操作按该模式定义的成功条件完成后,后续缓存命中即可读取 B。
如果应用绕过缓存直接修改数据库为 C,而缓存仍保存 B,就破坏了统一写路径。此时出现的陈旧缓存不能靠“使用了 Write-Through”这一名称自动解决。
把请求分配给多个可用实例,以提升吞吐并避免单实例成为瓶颈;适合无状态或已妥善处理会话状态、需要横向扩展的服务入口。
负载均衡
负载均衡是把进入同一服务入口的请求按照既定规则分配到多个可用后端实例,使多个实例共同承载流量,并避免请求固定集中到单个实例。
成立边界
负载均衡解决的是请求如何分配,并不自动解决后端服务自身的状态共享、数据一致性或容量不足。它通常需要结合健康检查,把已判定不可用的实例从可选后端集合中移出。
服务无状态时,请求通常更容易分配到任意健康实例。存在本地会话状态时,则需要共享会话、会话亲和等额外设计,否则同一用户的连续请求落到不同实例可能得到不一致的会话体验。

与反向代理、故障转移的区别
| 概念 | 核心问题 |
|---|---|
| 负载均衡 | 多个可用后端之间如何分配请求 |
| 反向代理 | 如何代表后端接收客户端请求并转发 |
| 故障转移 | 当前服务不可用后如何切换到备用服务 |
同一个组件可以同时承担反向代理和负载均衡职责,但两个概念并不等价。故障转移也可能只在主节点失效时切换到备用节点,而不是持续把正常流量分摊给多个节点。
最小例子
一个服务运行 A、B、C 三个实例。请求先进入负载均衡器,再按照配置的分配策略选择健康实例;如果 B 被健康检查判定为不可用,新的请求可只在当前可选的 A、C 之间分配。
这并不意味着吞吐一定线性增长:如果三个实例最终争用同一个已饱和数据库,增加服务实例仍可能无法消除整体瓶颈。
把图片、脚本和下载文件等静态内容交给对象存储或 CDN 提供,减少应用服务器带宽和连接压力;适合静态资源占比较高的互联网服务。
静态内容卸载
静态内容卸载是把不需要应用服务器动态计算的图片、脚本、样式表和下载文件交给对象存储、静态文件服务或 CDN 提供,使应用服务器主要处理动态业务请求。
边界
适合内容可独立发布、可通过 URL 获取,并且更新频率相对低或能够用版本化 URL、缓存失效策略管理的资源。它减少应用服务器承担的文件读取、连接和出口流量,但不会自动降低动态 API、数据库查询或服务间调用的负载。

与缓存的区别
| 概念 | 主要改变 |
|---|---|
| 静态内容卸载 | 改变静态资源由哪个组件承载和传输 |
| 缓存 | 保存已有结果以减少重复计算、读取或回源 |
CDN 通常同时提供边缘缓存,因此两者经常一起出现,但并不等价。即使对象存储没有边缘缓存,只要静态文件不再由应用服务器传输,也已经发生了卸载。
最小例子
下面用两个独立地址验证请求已经分流;<HOST> 和 <ID> 需要替换为实际值。
curl -I "https://static.<HOST>/assets/app.<ID>.js"
curl -I "https://api.<HOST>/health"预期结果:两个请求都能获得成功 HTTP 响应;静态资源 URL 指向静态内容服务域名,而健康检查仍指向应用 API 域名。具体响应头、状态码细节和 CDN 标识取决于实际产品与配置,不应据此假定某个固定厂商字段。
https://static.<HOST>/assets/app.<ID>.js -> 静态内容服务
https://api.<HOST>/health -> 应用服务常见误解是把“使用 CDN”直接等同于“应用服务器已经没有静态资源压力”。如果页面仍引用应用服务器上的旧 URL,或 CDN 持续回源且缺少有效缓存策略,实际卸载效果仍可能有限。
韧性与故障隔离
当下游持续失败达到阈值时暂时阻止调用,并在恢复窗口探测服务状态,避免无效请求持续消耗资源;适合依赖远程服务的同步调用链。
熔断器
熔断器是在远程依赖持续失败达到设定条件后暂时停止正常调用,并在等待期后用受控请求探测恢复情况的故障隔离模式,目的是避免已知失败的调用持续占用线程、连接和下游资源。
成立边界
熔断器适合存在明确调用边界、失败可以统计,并且短时间拒绝请求比持续访问异常依赖更合理的场景。失败阈值、统计窗口、等待时间和探测数量都属于具体实现策略,没有适用于所有系统的固定值。

与超时和重试的区别
| 机制 | 回答的问题 |
|---|---|
| 超时 | 单次调用最多等待多久 |
| 重试 | 一次失败后是否再次尝试 |
| 熔断器 | 连续或集中失败后是否暂时停止正常调用 |
三者可以组合,但目标不同。没有合理退避和次数限制的重试可能在下游故障时放大流量;熔断器则通过一段时间的快速失败限制这种持续压力。
最小例子
假设某实现配置为“统计窗口内失败达到配置阈值则打开”,调用序列可以抽象为:正常阶段允许请求,下游持续失败后进入打开状态,等待窗口结束再允许少量探测请求。阈值和时间必须依据具体库及业务配置确定,不能把示例中的状态变化当成统一标准。
常见误解是把熔断器当成“发现一次错误就永久禁用下游”。熔断通常具有恢复探测机制;它也不能修复下游故障,只是在故障期间限制无效调用和级联资源消耗。
对可恢复的临时错误按限制次数重新执行操作,通常配合退避和抖动降低冲击;仅适合幂等或可安全重复的请求,不应重试确定性业务错误。
重试
重试是在一次操作因可能自行恢复的临时故障失败后,按照受控策略再次执行该操作,以提高短暂异常下的成功率。
成立边界
重试适用于连接短暂中断、服务暂时不可用、限流等有机会在稍后恢复的故障,但前提是能够识别哪些失败值得再次尝试。认证失败、参数非法、业务规则拒绝等确定性错误通常不会因重复请求而消失。
重试还必须考虑操作的重复执行安全性。读取或幂等写入通常较容易重试;扣款、创建订单等可能产生外部副作用的操作,需要幂等键、业务唯一键或去重机制,否则第一次请求已经成功但响应丢失时,再次执行可能造成重复状态变化。
与“超时”的区别
| 概念 | 回答的问题 |
|---|---|
| 重试 | 一次操作失败后,是否以及何时再次执行 |
| 超时 | 一次操作最多允许等待多久 |
两者经常组合使用,但职责不同:超时负责结束一次等待,重试负责决定结束后是否再次尝试。若每次重试都拥有完整且过长的超时时间,多次尝试可能突破调用链原本的端到端延迟预算。
最小例子
客户端调用服务时遇到一次短暂连接失败,等待一小段时间后再次调用并成功,这是典型重试。相反,请求因“订单状态不允许取消”而失败时,原条件没有改变,重复发送同一请求通常仍会失败。
常见误解是把“失败就再试”当作完整的重试策略。真正需要同时确定的是哪些错误可重试、操作能否安全重复、最多尝试多久,以及重试是否会放大下游压力。
为远程调用和资源等待设置最大持续时间,避免故障依赖无限占用线程、连接或请求预算;适合所有跨进程调用,并应结合端到端延迟预算设计。
超时
超时是为一次调用或资源等待设置允许持续的时间上限,超过该边界后停止继续等待,使调用方能够释放资源并进入失败、降级或其他恢复路径。
成立边界
超时适用于 HTTP、RPC、数据库、消息系统等跨进程或外部资源等待。它限制的是调用方愿意等待多久,并不等于证明下游操作已经停止:调用方超时后,服务端仍可能继续处理并最终产生状态变化。
超时值应服从端到端延迟预算。调用链包含多个依赖时,不能简单给每一层配置相同的最大等待时间;还要为网络传输、本地处理以及可能的重试预留预算,否则上游已经放弃请求时,下游仍可能持续占用连接、线程或其他资源。

与“重试”的区别
| 概念 | 回答的问题 |
|---|---|
| 超时 | 单次操作最多等待多久 |
| 重试 | 操作失败或超时后是否再次执行 |
超时可以独立存在,也可以触发重试。组合两者时应限制整个操作的总预算;否则连续多次超时会累积延迟,并可能在故障期间制造更多并发请求。
最小例子
某次远程调用最多允许等待 500 ms。500 ms 内收到响应就继续处理;到达边界仍没有响应,调用方结束等待并按既定策略处理失败。此时不能仅凭“客户端已超时”推断服务端事务一定已经取消。
常见误解是把超时设置得越长越安全。过长的超时会让故障依赖持续占用调用方资源;过短则可能把正常的尾延迟误判为故障。合理边界应依据调用链预算、正常延迟分布和失败处理策略共同确定。
把线程池、连接池或实例等资源划分为相互隔离的区域,防止一个依赖或租户耗尽全部容量;适合共享资源上的多下游和多租户系统。
舱壁隔离
舱壁隔离是把有限资源划分为相互独立的资源池,使一个依赖、租户或工作负载耗尽自身配额时,不会直接占满其他工作负载所需的全部容量。
成立边界
隔离必须发生在真正可能被争抢的资源上,例如线程池、连接池、进程、实例或并发配额。仅把代码拆成不同模块,而底层仍共享同一个可耗尽资源池,并不能形成有效的舱壁隔离。
隔离也不等于无限扩容。某个舱壁达到容量上限后,仍需要排队、拒绝、降级或超时等策略;它解决的是故障影响范围,而不是消除容量限制。

与相邻机制的区别
| 概念 | 主要控制对象 | 主要目的 |
|---|---|---|
| 舱壁隔离 | 不同工作负载使用的资源池 | 限制资源耗尽的影响范围 |
| 限流 | 进入系统或资源的请求速率 | 防止负载超过处理能力 |
| 熔断 | 对故障依赖的调用 | 暂停持续失败的调用,避免反复消耗资源 |
这些机制可以组合使用。例如先按下游划分线程池,再分别设置并发上限,并在某个下游持续失败时触发熔断。
最小例子
一个聚合服务同时调用库存和推荐服务。若两类调用共用 100 个工作线程,推荐服务长时间阻塞可能占满全部线程,使库存调用也无法执行。若分别分配 60 个库存线程和 40 个推荐线程,推荐池耗尽后,库存池仍保有自己的处理容量。
常见误解是把“服务已经拆开部署”视为完成了舱壁隔离。判断时应继续检查线程、连接、实例容量等关键资源是否仍存在可被单一故障方全部耗尽的共享点。
限制单位时间内进入系统或关键资源的请求量,把负载控制在可承受范围
限流
限流是在指定时间尺度或并发范围内约束被接纳的请求量,使进入系统或关键资源的负载保持在预先设定的容量边界内,并为超出限制的请求定义拒绝、排队或降级行为。
成立边界
限流控制的是被接纳的负载,前提是存在明确的限制维度和作用范围,例如按 API、用户、租户、实例或全局流量设置速率或并发上限。只有监控请求量而没有实际接纳控制,不属于限流。
限流阈值也不等同于系统理论最大吞吐量。实际值通常还受延迟目标、下游容量、突发容忍度和公平性要求影响;超过阈值后的处理策略是限流设计的一部分。
与相邻机制的区别
| 概念 | 回答的问题 |
|---|---|
| 限流 | 当前允许多少请求进入 |
| 舱壁隔离 | 某类负载耗尽资源时会影响谁 |
| 熔断 | 依赖持续失败时是否暂时停止调用 |
| 超时 | 单次操作最多等待多久 |
限流主要处理过载,不直接判断下游是否健康。即使请求速率没有超过阈值,下游持续失败时仍可能需要熔断;即使各下游彼此隔离,单个资源池也可能需要独立限流。
最小例子
假设一个昂贵接口规定每个租户每秒最多接纳 100 个请求。租户 A 在一秒内到达 130 个请求时,系统可以接纳额度内的请求,并按既定策略处理超出的部分;租户 B 的独立额度不会因为 A 超限而被直接占用。
这里的关键不是具体采用哪一种算法,而是明确“按租户”“每秒”“100 个请求”以及超限行为。若业务需要容忍短时突发,还应选择能表达突发容量的限流策略,而不是把固定平均速率误当成瞬时上限。
判断限流是否有效,应同时核对限制作用域、容量依据以及超限后的行为;只看到一个“每秒请求数”配置值,并不足以说明过载保护已经完整。
资源不足或依赖异常时主动关闭非核心能力、返回替代结果或降低服务质量,以保留关键业务路径;适合能够明确划分核心与可牺牲功能的系统。
降级
降级是在资源不足、依赖异常或系统过载时,主动牺牲部分非核心能力或服务质量,使有限资源优先保障关键业务路径的韧性策略。
边界
降级成立的前提是系统能够明确区分必须保留的核心能力与可以暂时牺牲的能力。常见做法包括关闭推荐、隐藏非必要信息、使用缓存或静态结果,以及降低计算精度。
降级不等于忽略错误。替代结果必须具有明确语义,不能把失败伪装成真实成功;涉及支付、库存扣减等不能安全替代的核心操作,通常不应通过虚构结果完成降级。

与相邻策略的区别
| 概念 | 核心动作 | 主要目的 |
|---|---|---|
| 降级 | 减少功能或降低结果质量 | 保住核心业务 |
| 限流 | 限制进入系统的请求量 | 避免容量被突破 |
| 熔断 | 暂停调用持续失败的依赖 | 隔离故障并避免无效调用 |
这些策略可以组合使用。例如依赖持续失败时先熔断调用,再由业务层返回降级结果;流量超过容量时可以先限流,同时关闭高成本的非核心功能。
最小例子
商品详情页依赖推荐服务。推荐服务超时后,页面仍返回商品名称、价格和购买入口,只暂时隐藏“猜你喜欢”。这里被牺牲的是推荐能力,核心购买路径仍然可用,因此属于降级。
常见误解是把任何失败后的默认值都称为降级。只有替代行为经过业务设计、不会制造错误事实,并且确实用于保护更重要的能力时,才是有效的降级策略。
由服务暴露可机器判读的存活和就绪状态,供负载均衡器或编排平台决定是否接收流量;适合需要自动摘除故障实例的服务化系统。
健康端点监控
健康端点监控是服务通过可机器判读的检查结果暴露自身存活或就绪状态,使负载均衡器、编排平台等组件能够据此执行重启、摘流或恢复流量等动作的机制。
边界
健康检查回答的是实例是否处于某种可运行或可接流量状态,而不是证明所有业务请求都一定成功。具体端点、响应格式、状态码以及失败阈值取决于运行平台和服务约定,不应假定存在统一协议。
检查内容也需要控制边界。若存活检查把所有下游依赖都作为成功条件,一个短暂的数据库故障就可能导致大量本来正常的实例被反复重启,反而扩大故障。

存活与就绪的区别
| 状态 | 回答的问题 | 常见控制动作 |
|---|---|---|
| 存活 | 进程是否仍能继续运行 | 失败时可能重启或替换实例 |
| 就绪 | 当前是否适合接收业务流量 | 失败时停止向实例分发流量 |
实例可以存活但尚未就绪。例如应用进程已经启动,却仍在加载必要数据,此时不一定需要重启,只需要暂缓接收流量。
最小例子
某实例启动后能够正常响应存活检查,但初始化尚未完成,因此就绪检查暂时失败。流量入口不把新请求发送给该实例;初始化完成且就绪检查恢复后,实例再进入可接流量集合。
常见误解是把“进程还活着”和“业务已经可用”视为同一状态。健康端点应让控制系统区分这两类信号,否则可能把尚未准备好的实例提前加入流量池,或把只需摘流的实例误判为必须重启。
部署与运行时演进
把代理、日志或配置等辅助能力部署为与主应用共同生命周期的独立组件,在不侵入业务代码的情况下扩展运行时能力。
Sidecar
Sidecar 是与主应用部署在同一运行单元附近、生命周期紧密关联的独立辅助组件,用来承载代理、日志采集、配置同步等横切能力,而不把这些能力直接写入业务进程。
成立边界
判断一个组件是否属于 Sidecar,关键不在于它是不是代理,而在于它是否伴随某个主应用实例运行并为其提供辅助能力。在容器平台中,常见形式是多个容器共享同一个 Pod 或等价部署单元;在其他环境中,也可以由独立进程实现相同关系。
Sidecar 通常与主应用共享部分运行上下文,例如网络、存储卷或配置,但它仍拥有独立进程边界,可以单独选择实现语言和发布版本。若一个辅助服务被大量应用实例远程共享,而不是逐实例伴生,它通常不再属于典型 Sidecar。

与相邻模式的区别
| 模式 | 核心关系 | 主要目的 |
|---|---|---|
| Sidecar | 辅助组件伴随主应用实例运行 | 扩展主应用的运行时能力 |
| Ambassador | 代理代表应用处理对外通信 | 隔离网络连接与协议细节 |
| 独立共享服务 | 多个应用通过网络共同访问一个服务 | 集中提供可复用能力 |
Ambassador 可以采用 Sidecar 的部署形态,因此二者不是互斥分类:Sidecar 更强调部署和生命周期关系,Ambassador 更强调网络代理职责。
最小例子
一个业务容器只负责处理订单请求,同一部署单元中的另一个容器持续读取共享日志并发送给日志系统。后者与每个业务实例一起部署和回收,因此可以视为 Sidecar。
常见误解是把所有辅助服务都叫 Sidecar。集中部署的日志平台、配置中心或网关即使为业务提供辅助能力,只要没有与具体应用实例形成伴生生命周期关系,就不符合 Sidecar 的核心边界。
在应用旁部署代理组件,代表应用处理外部网络通信、连接和协议细节;适合希望统一封装重试、路由或安全通信而不修改业务代码的场景。
Ambassador
Ambassador 是代表主应用处理外部网络通信的代理模式,把连接管理、路由、协议适配或安全通信等职责从业务进程中分离,使应用通过较简单的本地接口访问外部服务。
成立边界
Ambassador 的关键是代理代表应用发起或管理对外通信。主应用把请求交给代理,再由代理连接目标服务;因此网络策略可以独立于业务代码演进。
它适合把多个应用原本需要重复实现的连接处理能力下沉到代理,但并不意味着所有失败都可以安全重试。是否允许重试仍取决于请求的幂等性、超时预算以及目标系统的行为。

与相邻模式的区别
| 模式 | 关注点 | 典型通信方向 |
|---|---|---|
| Ambassador | 代表应用处理网络访问细节 | 应用经代理访问外部服务 |
| Sidecar | 辅助组件与主应用的伴生部署关系 | 不限定具体方向或职责 |
| API Gateway | 为多个后端提供统一的外部入口 | 客户端经网关访问后端 |
Ambassador 经常以 Sidecar 方式部署,但 Sidecar 还可以承担日志、配置同步等非网络职责。API Gateway 通常位于多个服务的公共入口,而 Ambassador 更贴近具体应用并代表它访问其他服务。
最小例子
业务进程只向本机代理发送数据库连接请求,代理负责建立加密连接、选择目标地址并维护连接细节。业务代码因此不需要直接实现这些网络能力,这个代理承担的就是 Ambassador 角色。
常见误解是把“应用旁边的任何代理”都视为 Ambassador。判断时应看代理是否代表应用处理外部通信;若组件只是收集日志或同步配置,它更适合用 Sidecar 的职责来描述。