AI 内容创作 / 系统课时
手势与语义动作匹配
手势与语义动作匹配
数字人不能只根据单个关键词机械播放动作,否则容易频繁挥手、语义错配或打断当前表演。本课将把文本意图、情绪和关键词转成动作候选,通过评分、冲突消解和冷却控制,选择欢迎、指示、强调、否定等语义手势。
学习目标
- 建立文本语义到手势标签的匹配规则
- 设计可解释的候选评分、冲突处理和冷却机制
- 使用可运行程序验证不同语句的动作选择结果
从文本到动作候选
匹配链路通常先分析当前话语,再查询动作库。输入特征至少包含意图、情绪、关键词和对话阶段;动作库则保存语义标签、适用情绪、身体占用范围、持续时间和可否循环。系统不应在识别到关键词后立即播放,而应先生成候选并统一评分。

匹配评分与冲突规则
一个实用的评分可以由语义命中、情绪适配、对话阶段和动作多样性组成,再减去冷却惩罚。选择前先判断说话意图和作用范围。“不错”可表示肯定,“不必担心”可能在安抚。单字命中不足以选择否定动作。话语存在多种含义时,用当前语义重音和动作资源确定是否需要手势。
动作选择还要考虑身体资源。两个都占用双臂的动作不能重叠,点头可以与单手指示并行,但大幅转身通常需要独占上半身。若最高候选分数不足阈值,应保持自然空闲动作,而不是强行匹配。
最小可运行示例
示例接收上游已判定的语义类别。冷却按上次实际播放时刻计算。手势与当前占用身体区域冲突时直接跳过。识别分数不足时只保留基础动作。
from dataclasses import dataclass
@dataclass(frozen=True)
class Gesture:
name: str
act: str
regions: frozenset[str]
cooldown_ms: int
priority: int
GESTURES = (
Gesture("welcome", "greeting", frozenset({"left_arm", "right_arm"}), 2000, 30),
Gesture("point", "indicate", frozenset({"right_arm"}), 1200, 20),
Gesture("head_shake", "deny", frozenset({"head"}), 1500, 25),
Gesture("emphasis", "emphasize", frozenset({"left_arm"}), 1000, 10),
)
def choose(act, score, now_ms, occupied, last_started):
if not 0 <= score <= 1 or score < .75:
return "idle"
candidates = [
g for g in GESTURES
if g.act == act and g.regions.isdisjoint(occupied)
and (g.name not in last_started or now_ms - last_started[g.name] >= g.cooldown_ms)
]
return max(candidates, key=lambda g: (g.priority, g.name)).name if candidates else "idle"
if __name__ == "__main__":
print(choose("greeting", .93, 0, set(), {}))
print(choose("indicate", .91, 200, {"right_arm"}, {}))
print(choose("deny", .95, 800, set(), {"head_shake": 100}))
print(choose("deny", .95, 1700, set(), {"head_shake": 100}))
print(choose("unknown", .99, 2000, set(), {}))保存为 gesture_match_demo.py,运行 python gesture_match_demo.py。
welcome
idle
idle
head_shake
idle将启动时间记录在播放器真正开始动作时。若上游仅有不可靠关键词,可回到无手势状态。角色转身等全身动作要在占用集合包含其控制的区域。涉及指向物体时,还应确认目标存在且与视线、姿态一致。
播放编排与验收
动作触发点应落在语义重音附近,而不是等整句播完才开始。短手势可在关键词前约 100 至 200 毫秒淡入,在词语结束后淡出;持续动作则应设置最大时长,避免角色长时间保持僵硬姿态。具体时间需要结合语音时间戳和动画资源长度校准。
验收时应覆盖四类情况:明确命中、多个候选冲突、连续重复、无合适动作。通过标准是动作含义与话语一致、同一动作不过度重复、切换无明显跳变,并且无候选时能够稳定回到空闲状态。
- 欢迎语句优先使用开放式手势,避免同时触发指示动作。
- 否定与强调同句出现时,先确定要表达的重音。语义不明时不强行加入否定手势。
- 连续两句命中同一动作时,可改用低幅度变体或延长冷却时间。
- 用户开始说话或系统被打断时,应立即停止非必要手势并回到聆听姿态。
本课总结
- 手势匹配应先召回候选,再统一评分和消解冲突
- 语义、情绪、对话阶段与冷却时间共同决定最终动作
- 无合适候选时保持空闲,比错误播放手势更自然
下一课预告
下一阶段将继续完善角色动画编排,把语音时间戳、面部表情、身体动作和中断事件放到同一时间线上进行协调与验收。