机器学习与深度学习 / 系统课时

按时间切分训练集与测试集

按时间切分训练集与测试集

推荐系统离线评估真正要模拟的是“用过去预测未来”。本节按照事件时间构造训练、验证和测试区间,检查每个分区的用户与物品覆盖,并说明为什么随机切分可能把未来信息带回训练阶段,从而让离线指标显得过于乐观。

学习目标

  • 按时间边界构造互不穿越的训练、验证和测试数据
  • 理解随机切分在推荐场景中可能造成的时间泄漏
  • 检查各分区用户、物品和时间范围是否发生异常漂移

用时间模拟真实推荐过程

线上推荐发生在明确的时间点:系统只能使用当时已经发生的行为训练模型或生成用户特征,然后预测之后的行为。因此离线切分也应保持相同因果顺序,例如训练集覆盖 9 月 8 日之前的数据,验证集覆盖 9 月 8 日到 10 日之前的数据,测试集从 9 月 10 日开始。

推荐数据集的时间切分与信息边界

随机切分会打散这种顺序。即使测试标签本身没有直接进入训练集,模型也可能提前看到测试时刻之后才出现的物品热度、用户兴趣或交互关系,使任务变成“利用部分未来行为预测另一部分历史行为”。用户越活跃、特征越依赖历史累计值,这种偏差通常越明显。

构造三个时间区间

下面使用两个固定截止时间切分事件,并显式验证三个区间不存在交叉。真实项目应把截止时间记录在实验配置中,保证模型、特征和评估脚本使用完全相同的边界。

python
import pandas as pd

rows = [
    ('u1', 'i1', '2026-09-01 09:00:00'),
    ('u1', 'i2', '2026-09-05 10:00:00'),
    ('u1', 'i3', '2026-09-08 09:00:00'),
    ('u1', 'i1', '2026-09-10 12:00:00'),
    ('u2', 'i1', '2026-09-02 11:00:00'),
    ('u2', 'i3', '2026-09-07 13:00:00'),
    ('u2', 'i2', '2026-09-09 14:00:00'),
    ('u2', 'i2', '2026-09-11 15:00:00'),
    ('u3', 'i2', '2026-09-03 16:00:00'),
    ('u3', 'i3', '2026-09-09 17:00:00'),
    ('u3', 'i3', '2026-09-12 18:00:00'),
]

df = pd.DataFrame(rows, columns=['user_id', 'item_id', 'event_time'])
df['event_time'] = pd.to_datetime(df['event_time'])

train_end = pd.Timestamp('2026-09-08 00:00:00')
valid_end = pd.Timestamp('2026-09-10 00:00:00')

# 左闭右开区间可以避免恰好落在边界上的事件重复进入两个集合。
train = df[df['event_time'] < train_end].copy()
valid = df[(df['event_time'] >= train_end) & (df['event_time'] < valid_end)].copy()
test = df[df['event_time'] >= valid_end].copy()

for name, part in [('train', train), ('valid', valid), ('test', test)]:
    print(
        name,
        len(part),
        part['user_id'].nunique(),
        part['item_id'].nunique(),
        part['event_time'].min().strftime('%Y-%m-%d'),
        part['event_time'].max().strftime('%Y-%m-%d'),
    )

# 基础时间断言必须在每次实验中自动执行。
time_order_ok = train['event_time'].max() < valid['event_time'].min() and valid['event_time'].max() < test['event_time'].min()
train_users = set(train['user_id'])
train_items = set(train['item_id'])

print('time_order_ok', time_order_ok)
print('valid_new_user_rate', round((~valid['user_id'].isin(train_users)).mean(), 2))
print('test_new_user_rate', round((~test['user_id'].isin(train_users)).mean(), 2))
print('valid_new_item_rate', round((~valid['item_id'].isin(train_items)).mean(), 2))
print('test_new_item_rate', round((~test['item_id'].isin(train_items)).mean(), 2))

预期输出:三个集合的日期严格向后推进,示例中的验证和测试用户、物品都已经在训练区间出现,因此冷启动比例为 0。

text
train 5 3 3 2026-09-01 2026-09-07
valid 3 3 2 2026-09-08 2026-09-09
test 3 3 3 2026-09-10 2026-09-12
time_order_ok True
valid_new_user_rate 0.0
test_new_user_rate 0.0
valid_new_item_rate 0.0
test_new_item_rate 0.0

检查分区是否发生异常漂移

时间顺序正确并不代表数据就一定健康。切分后至少应比较事件数、独立用户数、独立物品数以及新用户和新物品比例。若训练集有大量活跃用户,而测试集突然只剩少数用户,或者测试集中绝大多数物品从未在训练阶段出现,评估结果就可能主要反映数据管道变化,而不是模型能力。

新用户或新物品比例并非越低越好。真实业务本来存在冷启动时,就应该保留这种现象,只需确认比例符合线上实际。异常的是无业务原因的突变,例如埋点改版导致某类物品从某天起集中缺失,或者某个数据源仅在测试窗口被接入。

特征也必须遵守同一个截止时间

完成数据集切分后,还要检查特征生成过程。假设测试事件发生在 9 月 11 日,那么用于预测它的用户点击次数、物品热度和最近兴趣只能根据预测时刻之前的数据计算。先在全量日志上算好这些特征,再去切训练和测试数据,仍然会把未来信息泄漏进去。

推荐实验最稳妥的原则是:先确定评估时间点,再从该时间点以前重建用户历史、物品统计和模型训练数据,最后只用之后的事件计算指标。只要数据切分和特征生成都遵守这条时间边界,离线结果才更接近模型上线后真正面对的推荐任务。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

按时间切分训练集与测试集

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通