机器学习与深度学习 / 系统课时

把行为日志整理成隐式反馈

把行为日志整理成隐式反馈

推荐系统拿到的通常不是明确评分,而是浏览、点击、收藏、购买等行为日志。本节把这些事件清洗、赋权并聚合成可训练的隐式反馈,同时保留事件时间与顺序,避免后续召回、排序和离线回放失去真实的用户行为轨迹。

学习目标

  • 从行为日志中提取用户、物品、时间和行为强度
  • 正确处理重复事件、缺失字段和异常时间
  • 同时产出事件级数据与用户物品级隐式反馈

从行为事件得到训练信号

隐式反馈没有“用户给物品打了几分”这样的直接标签,只能根据行为推断兴趣强度。最简单的做法是给不同行为设置权重,例如浏览为 1、点击为 2、收藏为 3、购买为 5,再把同一用户对同一物品的有效行为累积起来。

权重表达的是业务中的相对强弱,而不是客观概率。购买通常比浏览更能表示偏好,但不能因此把权重无限放大,否则少量强行为会完全淹没其他信号。正式训练前应通过离线指标和线上实验校准这些值。

从行为日志到隐式反馈的处理链路

清洗并保留事件顺序

下面的示例故意加入完全重复事件、缺失物品和非法时间。清洗顺序很重要:先解析时间并删除关键字段缺失的数据,再去掉完全重复事件,之后映射行为权重,最后按用户和事件时间排序并生成用户内部的事件序号。

python
import pandas as pd

rows = [
    ('u1', 'i1', '2026-09-01 10:00:00', 'view'),
    ('u1', 'i1', '2026-09-01 10:02:00', 'click'),
    ('u1', 'i1', '2026-09-01 10:02:00', 'click'),
    ('u1', 'i2', '2026-09-01 10:05:00', 'buy'),
    ('u2', 'i1', '2026-09-01 10:06:00', 'view'),
    ('u2', 'i3', '2026-09-01 10:08:00', 'favorite'),
    ('u2', None, '2026-09-01 10:09:00', 'click'),
    ('u2', 'i3', 'bad-time', 'click'),
]

df = pd.DataFrame(rows, columns=['user_id', 'item_id', 'event_time', 'event'])
weights = {'view': 1.0, 'click': 2.0, 'favorite': 3.0, 'buy': 5.0}

# 非法时间转为 NaT,随后与其他关键字段缺失记录一起删除。
df['event_time'] = pd.to_datetime(df['event_time'], errors='coerce')
clean = (
    df.dropna(subset=['user_id', 'item_id', 'event_time'])
      .drop_duplicates(['user_id', 'item_id', 'event_time', 'event'])
      .assign(weight=lambda x: x['event'].map(weights))
      .dropna(subset=['weight'])
      .sort_values(['user_id', 'event_time'])
      .reset_index(drop=True)
)

# 顺序字段供后续时间切分和历史行为回放使用。
clean['event_order'] = clean.groupby('user_id').cumcount() + 1

interactions = (
    clean.groupby(['user_id', 'item_id'], as_index=False)
         .agg(strength=('weight', 'sum'), last_event_at=('event_time', 'max'))
         .sort_values(['user_id', 'item_id'])
)

clean_out = clean.copy()
clean_out['event_time'] = clean_out['event_time'].dt.strftime('%Y-%m-%d %H:%M:%S')
interactions['last_event_at'] = interactions['last_event_at'].dt.strftime('%Y-%m-%d %H:%M:%S')

print(clean_out[['user_id', 'item_id', 'event_time', 'event', 'weight', 'event_order']].to_dict('records'))
print(interactions.to_dict('records'))

预期输出:重复点击只保留一次,缺失物品和非法时间被删除;同一用户对同一物品的行为强度被累积。

text
[{'user_id': 'u1', 'item_id': 'i1', 'event_time': '2026-09-01 10:00:00', 'event': 'view', 'weight': 1.0, 'event_order': 1}, {'user_id': 'u1', 'item_id': 'i1', 'event_time': '2026-09-01 10:02:00', 'event': 'click', 'weight': 2.0, 'event_order': 2}, {'user_id': 'u1', 'item_id': 'i2', 'event_time': '2026-09-01 10:05:00', 'event': 'buy', 'weight': 5.0, 'event_order': 3}, {'user_id': 'u2', 'item_id': 'i1', 'event_time': '2026-09-01 10:06:00', 'event': 'view', 'weight': 1.0, 'event_order': 1}, {'user_id': 'u2', 'item_id': 'i3', 'event_time': '2026-09-01 10:08:00', 'event': 'favorite', 'weight': 3.0, 'event_order': 2}]
[{'user_id': 'u1', 'item_id': 'i1', 'strength': 3.0, 'last_event_at': '2026-09-01 10:02:00'}, {'user_id': 'u1', 'item_id': 'i2', 'strength': 5.0, 'last_event_at': '2026-09-01 10:05:00'}, {'user_id': 'u2', 'item_id': 'i1', 'strength': 1.0, 'last_event_at': '2026-09-01 10:06:00'}, {'user_id': 'u2', 'item_id': 'i3', 'strength': 3.0, 'last_event_at': '2026-09-01 10:08:00'}]

为什么不能只保存聚合结果

strength 很适合协同过滤、召回候选生成或作为排序特征,但聚合会抹掉事件发生的先后关系。如果只保存一行 u1-i1-strength=3,以后无法判断浏览和点击发生在训练截止时间之前还是之后,也无法按历史时刻重建用户画像。

因此工程上通常保留两层数据:事件级表作为事实来源,保存原始时间和事件顺序;训练数据再从事件级表按指定时间窗口派生。这样改变切分日期、行为权重或去重策略时,都可以重新计算,而不必依赖已经丢失时间信息的聚合表。

去重和异常处理的边界

完全相同的用户、物品、时间和行为通常可以视为重复上报,但同一用户连续两次点击不一定是重复数据。若只按 user_id 与 item_id 去重,会错误删除真实的重复消费行为。生产系统最好使用事件 ID 去重;没有事件 ID 时,再结合时间窗口和业务语义制定规则。

验收这一步时,应确认关键字段没有空值、非法时间已被隔离、事件顺序单调、未知行为不会静默得到错误权重,并且事件级数据仍能重建聚合结果。做到这些后,隐式反馈才既能用于当前模型训练,也能安全支持后续按时间切分和离线回放。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

把行为日志整理成隐式反馈

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通