架构与系统设计 / 系统课时

新闻 Feed 怎么做分发

新闻 Feed 怎么做分发

新闻 Feed 的核心并不是把帖子按时间排序,而是决定一条新内容什么时候进入哪些用户的时间线。关注关系规模不同后,推模式会产生写扩散,拉模式又会增加读取合并成本,因此实际系统往往需要按用户和作者热度组合两种策略。

学习目标

  • 区分推模式、拉模式以及两者的成本来源
  • 设计 Feed 写入、时间线读取与分页路径
  • 用混合分发处理大 V、热点内容和失败重试

推和拉解决的是不同瓶颈

推模式也叫 fanout on write。作者发布内容后,系统查出粉丝列表,把内容 ID 写入每个粉丝的时间线。用户打开 Feed 时只需读取自己的时间线,因此读取快,但作者粉丝越多,单次发布产生的写入越多。

拉模式也叫 fanout on read。发布时只保存内容,不提前写入粉丝时间线;用户读取 Feed 时,再查询自己关注的作者最近内容并合并排序。它减少写扩散,却把计算压力移动到了读取阶段。

模式 发布成本 读取成本 典型适用对象
推模式 随粉丝数增长 低 普通作者、读取频繁用户
拉模式 低 随关注数增长 超大粉丝作者、读取较少用户
混合模式 可控 可控 大规模社交或新闻 Feed

因此不能只回答“Feed 用推还是拉”。更有价值的设计是先识别写扩散和读放大分别出现在哪里,再决定哪些关系需要预计算。

一条内容怎样进入时间线

普通作者发布内容后,Post Service 先持久化帖子,再产生发布事件。Fanout Worker 消费事件、读取关注关系,然后将 post_id 和排序所需的时间信息写入粉丝的 Timeline Store。真正的正文内容仍保存在 Post Store 中,时间线只保存轻量引用。

用户刷新页面时,Feed Service 读取自己的时间线 ID 列表,批量获取帖子详情,再执行权限过滤、删除过滤和必要的排序处理。这样可以避免在每个用户时间线中复制完整帖子。

Feed 推模式、拉模式与混合分发架构

大 V 不能照普通作者直接推

假设一个作者拥有数千万粉丝,每发布一条内容就立即向所有粉丝时间线写入,会产生巨大的瞬时写流量。即使后台可以异步处理,用户很久不登录时,这些预写结果也可能从未被读取。

混合模式通常把普通作者内容提前推送,而把超过某个粉丝阈值的大 V 内容保留在作者侧。用户请求 Feed 时,系统读取已经准备好的个人时间线,再额外拉取自己关注的大 V 最近帖子,将两部分合并。

这种设计把“超级作者导致的写爆炸”转换成“读取时增加少量候选合并”。因为单个用户关注的大 V 数量通常远小于全部关注者数量,所以整体成本更容易控制。

热点事件还可能让大量用户同时刷新 Feed。此时不仅要缓存帖子详情,还可以缓存大 V 最近内容列表或热门候选集合,避免每个请求都重复扫描底层帖子存储。

时间线查询要使用稳定游标

Feed 不适合依赖大偏移量分页。随着新帖子不断插入,offset 分页容易产生重复或遗漏,而且越往后扫描成本越高。更常见的做法是使用游标,例如上一页最后一条记录的排序时间和唯一 ID。

如果只按时间排序,两条帖子时间相同时可能出现不稳定顺序,因此游标通常由 (created_at, post_id) 这样的组合构成。下一页只读取严格小于上一页末尾游标的记录,从而保持稳定的向后遍历。

推荐系统加入相关性分数后,排序不再只是时间倒序,但原则相同:游标必须包含足以确定稳定顺序的信息。候选生成、排序模型和业务过滤可以逐层执行,不应让在线请求临时扫描所有关注作者的全部历史内容。

异步分发必须接受延迟和重试

Fanout Worker 可能因为超时、进程重启或下游限流而失败,所以发布事件需要可重试。时间线写入最好按用户和帖子做到幂等,例如同一个 user_id + post_id 重复消费时不会产生两条相同记录。

异步分发意味着用户发布后,粉丝的 Feed 可能经过短暂延迟才出现这条内容。系统设计时应明确这是可接受的一致性边界,而作者本人通常需要立即看到自己的帖子,可以在读取时额外合并本人最近发布内容来提供读己之写。

删除和权限变化也不能忽略。已经进入数百万条时间线的帖子如果被删除,不一定要同步删除所有引用;读取时根据 Post Store 的当前状态过滤,再由后台任务逐步清理旧引用,通常比一次大规模同步删除更稳定。

用混合策略收束整个架构

一个可落地的 Feed 设计可以把写路径和读路径明确分工:发布服务可靠保存内容并产生事件,普通作者通过异步 fanout 预计算用户时间线;大 V 和特殊热点保持拉取;读取服务合并两部分候选,再完成去重、过滤、排序和游标分页。

这样回答时,推模式和拉模式就不再是二选一的概念题,而是围绕作者粉丝规模、用户读取频率和系统资源做出的成本分配。真正需要说明的核心,是系统把写扩散限制在哪里,又把哪些计算留到用户读取时完成。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

新闻 Feed 怎么做分发

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通