架构与系统设计 / 系统课时
文件上传怎样扛住大流量
文件上传怎样扛住大流量
大文件上传最危险的设计,是让每个文件字节都经过业务服务器。本篇把控制请求和文件数据拆开:业务服务负责鉴权与上传会话,对象存储承接分片数据,客户端负责断点续传,完成后再生成文件元数据,并通过 CDN 承担后续下载流量。
学习目标
- 设计不让应用服务器转发大文件数据的上传架构
- 解释分片上传、断点续传和完成提交如何协作
- 处理鉴权、失败重试、文件校验与 CDN 分发边界
先把控制面和数据面拆开
如果客户端把 5 GB 文件先传到应用服务器,再由服务器写对象存储,那么应用层同时承担入口带宽、连接数、临时磁盘和转发流量。流量增长时,扩容的主要成本会被文件字节而不是业务逻辑占据。
更常见的方案是让应用服务只处理控制面:检查用户权限、创建上传会话、记录文件元数据,并签发具有短期权限的上传地址。真正的文件分片由客户端直接传给对象存储,也就是把数据面从应用服务器旁路出去。

这样扩容应用层主要由“每秒创建多少上传任务”决定,而不是“每秒传输了多少 GB”。对象存储则专门解决大对象吞吐、持久性和分片写入问题,两种资源可以分别扩展。
用分片上传支持断点续传
创建上传时,服务端生成一个 upload_id,记录用户、目标对象、预计大小、文件类型和上传状态。客户端再把文件切成多个 part,每个 part 有稳定的 part_number,并获得对应的短期上传授权。
分片带来两个直接收益。第一,大文件可以并发上传多个 part,提高高带宽网络下的利用率;第二,某一片失败时只需要重新发送失败部分,而不是从文件开头重传。
客户端应在本地保存 upload_id 和已成功 part 的状态。应用重启或网络恢复后,先查询服务端或对象存储已经接收的分片,再继续缺失部分。这里的“断点”不是记录一个字节偏移就结束,而是需要上传会话和服务端已接收状态共同确认。
完成上传要有明确提交点
所有 part 上传成功并不代表业务文件已经可见。客户端还需要发送一次完成请求,携带 upload_id 以及各 part 的标识,例如 part_number 和对象存储返回的校验标识。服务端确认上传属于当前用户、状态仍允许提交,再调用存储层完成 multipart upload。
完成成功后,业务服务把文件记录从 UPLOADING 切换到 READY,写入最终对象键、文件大小、内容类型以及业务所属关系。下载接口只暴露 READY 文件,避免用户读取到尚未完成或已经取消的对象。
完成接口本身也应支持幂等。客户端可能在服务端已经提交成功后丢失响应,因此再次携带同一个 upload_id 请求完成时,服务端应该返回已有文件结果,而不是生成第二份业务记录。
对于长期停留在 UPLOADING 的会话,可以由后台清理任务根据过期时间取消 multipart upload,并删除无业务引用的临时分片,防止存储成本持续增长。
鉴权不要等于暴露存储权限
客户端直传对象存储并不意味着把永久存储凭据交给客户端。业务服务仍然是权限入口:先确认用户是否有创建文件的权限,再为指定对象键、指定操作和有限有效期签发上传授权。
签名应限制对象范围和有效时间,服务端生成对象键时也不要直接信任客户端提交的任意路径。下载私有文件时,同样可以在权限检查后返回短期下载地址,或者让 CDN 使用受控的签名访问机制。
文件类型和大小限制最好在创建上传会话时先检查,在完成上传后再依据实际对象信息复核。对于需要病毒扫描、内容审核或媒体转码的场景,文件完成上传后先进入 PROCESSING,异步处理通过后再进入 READY,不要让耗时任务阻塞上传连接。
CDN 只承担读流量
文件完成后,热点往往从“上传”转向“重复下载”。公开或允许缓存的内容可以由 CDN 缓存,对象存储作为源站;同一热门文件被大量读取时,大部分请求在边缘节点结束,不再重复穿透到存储源站。
上传路径与下载路径因此可以分别扩展:上传侧重点是直传、分片、重试和提交一致性;下载侧重点是缓存命中、访问控制和源站保护。不要为了架构看起来统一,而让上传数据也无条件经过 CDN 或应用服务器。
面试中可以用一个简单容量判断验证设计。如果峰值同时有 10,000 个客户端上传,每个平均发送 8 Mbps,让业务服务器中转就意味着入口侧已经接近 80 Gbps,而且还要再向存储发送同量级流量。直传不会消灭这些字节,但会把它们交给专门的数据存储入口,使业务服务只保留较轻的鉴权和状态请求。
最终应把“大文件上传”描述成一个有状态的上传会话,而不是一次超长 HTTP 请求:先授权并创建会话,再分片直传和断点恢复,最后显式提交成为可用文件;业务服务器控制谁能上传和文件何时生效,对象存储与 CDN 分别承担大规模写入和读取。