机器学习与深度学习 / 系统课时

用 ALS 学出用户与物品因子

用 ALS 学出用户与物品因子

这一节把点击、收藏或购买次数视为隐式反馈,用 ALS 将稀疏的用户—物品矩阵拆成两组低维因子。你会从置信度加权目标函数出发,完成一次可运行训练,并用留出验证集选择潜在维度与正则化强度,而不是只看训练拟合。

学习目标

  • 理解隐式反馈 ALS 中偏好、置信度、用户因子和物品因子的关系
  • 能解释潜在维度、置信度系数与正则化如何影响拟合和泛化
  • 能用验证集比较参数组合,并按统一指标选择模型

隐式反馈不是评分矩阵

隐式场景里,r_ui > 0 通常表示用户对物品发生过行为,但 r_ui = 0 只代表“没有观察到行为”,不能直接解释为“不喜欢”。因此 ALS 会把行为转换为二值偏好 puip_{ui},再用置信度 cuic_{ui} 表示我们对这个偏好的确信程度。

常见定义是 pui=1p_{ui}=1 当且仅当 rui>0r_{ui}>0,同时令 cui=1+αruic_{ui}=1+\alpha r_{ui}。行为越强,正样本的损失权重越高;没有行为的位置仍保留基础权重 1,让模型学习“不要把所有未知物品都预测成强偏好”。

模型用用户因子 xux_u 与物品因子 yiy_i 的点积近似偏好:

min⁡X,Y∑u,icui(pui−xu⊤yi)2+λ(∑u∥xu∥22+∑i∥yi∥22)\min_{X,Y}\sum_{u,i}c_{ui}(p_{ui}-x_u^\top y_i)^2+\lambda\left(\sum_u\lVert x_u\rVert_2^2+\sum_i\lVert y_i\rVert_2^2\right)

隐式反馈 ALS 的矩阵分解与交替更新

ALS 为什么能交替求解

同时优化 XX 和 YY 不是一个简单的线性问题,但固定其中一组后,另一组就变成带 L2 正则的加权最小二乘。固定物品因子时,每个用户向量可以独立求解;固定用户因子时,每个物品向量也可以独立求解,因此很适合并行训练。

对单个用户,更新式可写成:

xu=(Y⊤CuY+λI)−1Y⊤Cupux_u=(Y^\top C_uY+\lambda I)^{-1}Y^\top C_up_u

潜在维度 factors 越大,模型表达能力越强,同时参数量、计算量和过拟合风险也会上升。正则化 reg 越大,因子会被压得更保守;alpha 则控制“发生过行为”的置信度与未观察位置之间拉开多大差距。

用留出验证集选择参数

下面构造一个小型隐式反馈矩阵,每个用户留出一个已交互物品作为验证目标。训练时看不到这些目标,评估时又会过滤训练集中已经看过的物品,因此 Recall@3 能直接反映候选召回是否命中留出正样本。

python
import itertools
import numpy as np

R = np.array([
    [3, 2, 0, 0, 1, 0, 0, 0],
    [2, 0, 2, 0, 0, 1, 0, 0],
    [0, 3, 0, 2, 0, 0, 1, 0],
    [0, 0, 3, 2, 0, 0, 0, 1],
    [1, 0, 0, 0, 3, 2, 0, 0],
    [0, 1, 0, 0, 2, 0, 3, 0],
], dtype=float)

heldout = {0: 1, 1: 2, 2: 1, 3: 2, 4: 5, 5: 6}
train = R.copy()
for user_id, item_id in heldout.items():
    train[user_id, item_id] = 0.0

def als_implicit(matrix, factors, reg, alpha=20.0, iterations=12, seed=7):
    rng = np.random.default_rng(seed)
    users, items = matrix.shape
    x = 0.1 * rng.normal(size=(users, factors))
    y = 0.1 * rng.normal(size=(items, factors))
    preference = (matrix > 0).astype(float)
    confidence = 1.0 + alpha * matrix
    eye = np.eye(factors)

    for _ in range(iterations):
        yty = y.T @ y
        for u in range(users):
            c = confidence[u]
            # C_u - I 只在发生过交互的位置增加权重。
            a = yty + (y.T * (c - 1.0)) @ y + reg * eye
            b = y.T @ (c * preference[u])
            x[u] = np.linalg.solve(a, b)

        xtx = x.T @ x
        for i in range(items):
            c = confidence[:, i]
            a = xtx + (x.T * (c - 1.0)) @ x + reg * eye
            b = x.T @ (c * preference[:, i])
            y[i] = np.linalg.solve(a, b)

    return x, y

def recall_at_k(matrix, x, y, targets, k=3):
    hits = 0
    for u, target in targets.items():
        scores = x[u] @ y.T
        # 已在训练集中交互过的物品不能再次进入候选集。
        scores[matrix[u] > 0] = -np.inf
        topk = np.argsort(-scores)[:k]
        hits += int(target in topk)
    return hits / len(targets)

results = []
for factors, reg in itertools.product([2, 3, 4], [0.05, 0.20]):
    x, y = als_implicit(train, factors=factors, reg=reg)
    recall = recall_at_k(train, x, y, heldout)
    results.append((factors, reg, recall))
    print(f"factors={factors}, reg={reg:.2f}, Recall@3={recall:.3f}")

# Recall 相同时优先更强的正则化,降低小样本过拟合风险。
best = max(results, key=lambda row: (row[2], row[1]))
print(f"best=factors={best[0]}, reg={best[1]:.2f}")

预期输出

text
factors=2, reg=0.05, Recall@3=0.333
factors=2, reg=0.20, Recall@3=0.333
factors=3, reg=0.05, Recall@3=0.500
factors=3, reg=0.20, Recall@3=0.500
factors=4, reg=0.05, Recall@3=0.667
factors=4, reg=0.20, Recall@3=0.667
best=factors=4, reg=0.20

这里两个 factors=4 组合的验证召回相同,所以示例用更强的 reg=0.20 作为保守的并列决胜规则。真实项目不要只试两个正则化值,也不要用测试集调参;应固定验证切分或时间窗,先选参数,最后再用独立测试集报告结果。

三个参数分别在控制什么

factors 决定用户与物品被压缩到多少个潜在方向。太小会欠拟合,很多兴趣被挤在一起;太大则让模型更容易记住稀疏交互,同时增加存储和在线点积成本。

reg 直接抑制因子幅度,是控制泛化的重要旋钮。数据越稀疏、潜在维度越高,通常越需要关注正则化。alpha 不改变“有没有行为”的偏好标签,而是改变行为强度在损失中的话语权;若计数跨度很大,生产中还常先对行为次数做截断或对数缩放。

最终要保存的是训练好的用户因子和物品因子,而不是完整评分矩阵。在线召回时只需计算用户向量与候选物品向量的相似度或点积,再取 Top-K;参数选择则必须以验证集排序指标为准,避免把更高维、更低训练误差误判成更好的推荐模型。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 ALS 学出用户与物品因子

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通