AI 内容创作 / 系统课时

手势与语义动作匹配

手势与语义动作匹配

数字人不能只根据单个关键词机械播放动作,否则容易频繁挥手、语义错配或打断当前表演。本课将把文本意图、情绪和关键词转成动作候选,通过评分、冲突消解和冷却控制,选择欢迎、指示、强调、否定等语义手势。

学习目标

  • 建立文本语义到手势标签的匹配规则
  • 设计可解释的候选评分、冲突处理和冷却机制
  • 使用可运行程序验证不同语句的动作选择结果

从文本到动作候选

匹配链路通常先分析当前话语,再查询动作库。输入特征至少包含意图、情绪、关键词和对话阶段;动作库则保存语义标签、适用情绪、身体占用范围、持续时间和可否循环。系统不应在识别到关键词后立即播放,而应先生成候选并统一评分。

手势与语义动作匹配流程

匹配评分与冲突规则

一个实用的评分可以由语义命中、情绪适配、对话阶段和动作多样性组成,再减去冷却惩罚。选择前先判断说话意图和作用范围。“不错”可表示肯定,“不必担心”可能在安抚。单字命中不足以选择否定动作。话语存在多种含义时,用当前语义重音和动作资源确定是否需要手势。

动作选择还要考虑身体资源。两个都占用双臂的动作不能重叠,点头可以与单手指示并行,但大幅转身通常需要独占上半身。若最高候选分数不足阈值,应保持自然空闲动作,而不是强行匹配。

最小可运行示例

示例接收上游已判定的语义类别。冷却按上次实际播放时刻计算。手势与当前占用身体区域冲突时直接跳过。识别分数不足时只保留基础动作。

python
from dataclasses import dataclass


@dataclass(frozen=True)
class Gesture:
    name: str
    act: str
    regions: frozenset[str]
    cooldown_ms: int
    priority: int


GESTURES = (
    Gesture("welcome", "greeting", frozenset({"left_arm", "right_arm"}), 2000, 30),
    Gesture("point", "indicate", frozenset({"right_arm"}), 1200, 20),
    Gesture("head_shake", "deny", frozenset({"head"}), 1500, 25),
    Gesture("emphasis", "emphasize", frozenset({"left_arm"}), 1000, 10),
)


def choose(act, score, now_ms, occupied, last_started):
    if not 0 <= score <= 1 or score < .75:
        return "idle"
    candidates = [
        g for g in GESTURES
        if g.act == act and g.regions.isdisjoint(occupied)
        and (g.name not in last_started or now_ms - last_started[g.name] >= g.cooldown_ms)
    ]
    return max(candidates, key=lambda g: (g.priority, g.name)).name if candidates else "idle"


if __name__ == "__main__":
    print(choose("greeting", .93, 0, set(), {}))
    print(choose("indicate", .91, 200, {"right_arm"}, {}))
    print(choose("deny", .95, 800, set(), {"head_shake": 100}))
    print(choose("deny", .95, 1700, set(), {"head_shake": 100}))
    print(choose("unknown", .99, 2000, set(), {}))

保存为 gesture_match_demo.py,运行 python gesture_match_demo.py。

text
welcome
idle
idle
head_shake
idle

将启动时间记录在播放器真正开始动作时。若上游仅有不可靠关键词,可回到无手势状态。角色转身等全身动作要在占用集合包含其控制的区域。涉及指向物体时,还应确认目标存在且与视线、姿态一致。

播放编排与验收

动作触发点应落在语义重音附近,而不是等整句播完才开始。短手势可在关键词前约 100 至 200 毫秒淡入,在词语结束后淡出;持续动作则应设置最大时长,避免角色长时间保持僵硬姿态。具体时间需要结合语音时间戳和动画资源长度校准。

验收时应覆盖四类情况:明确命中、多个候选冲突、连续重复、无合适动作。通过标准是动作含义与话语一致、同一动作不过度重复、切换无明显跳变,并且无候选时能够稳定回到空闲状态。

  • 欢迎语句优先使用开放式手势,避免同时触发指示动作。
  • 否定与强调同句出现时,先确定要表达的重音。语义不明时不强行加入否定手势。
  • 连续两句命中同一动作时,可改用低幅度变体或延长冷却时间。
  • 用户开始说话或系统被打断时,应立即停止非必要手势并回到聆听姿态。

本课总结

  • 手势匹配应先召回候选,再统一评分和消解冲突
  • 语义、情绪、对话阶段与冷却时间共同决定最终动作
  • 无合适候选时保持空闲,比错误播放手势更自然

下一课预告

下一阶段将继续完善角色动画编排,把语音时间戳、面部表情、身体动作和中断事件放到同一时间线上进行协调与验收。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

手势与语义动作匹配

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通