AI 内容创作 / 系统课时
数字人动作状态机
数字人动作状态机
数字人需要根据用户是否出现、语音是否结束、回答是否就绪以及是否被打断,及时切换角色动作。仅靠连续播放动画容易产生冲突。本课将把动作组织为有限状态机,明确事件、优先级、转换条件和过渡时长,并实现一个可运行的状态切换示例。
学习目标
- 设计待机、聆听、思考、说话和打断五类动作状态
- 定义事件驱动的转换规则与抢占优先级
- 使用 Python 验证状态路径和过渡动画参数
状态、事件与优先级
状态表示角色在一段时间内持续成立的动作模式,事件表示触发状态变化的外部或内部信号。状态机必须保证任一时刻只有一个主状态生效,面部表情、眼神和手势可以作为子层叠加,但不能绕过主状态直接争夺全身骨骼控制权。

| 状态 | 典型循环动作 | 进入条件 | 建议优先级 |
|---|---|---|---|
| 待机 | 呼吸、轻微重心变化 | 无交互或超时 | 10 |
| 聆听 | 面向用户、轻点头 | 检测到用户或语音 | 40 |
| 思考 | 目光偏移、短暂停顿 | 用户话语结束 | 60 |
| 说话 | 口型、手势与注视 | 回答音频就绪 | 80 |
| 打断 | 停止当前发言、转向用户 | 用户在说话阶段插话 | 100 |
优先级决定冲突发生时谁可以抢占谁。打断应先于同帧到达的旧音频就绪或播完事件。发送取消请求后等待本地播放停止的确认,动画过渡时长和停止语音的时间是两项独立指标。待机优先级最低,只能在没有更重要任务时运行。优先级不能替代转换条件,两者需要同时定义。
转换规则与过渡动画
每条转换至少包含当前状态、触发事件、目标状态和过渡时长。过渡时长用于骨骼混合,过短会造成动作跳变,过长会使数字人反应迟钝。打断路径通常比普通切换更短,而从聆听回待机可以更平缓。
设计转换时还应明确三个边界:无效事件是忽略、排队还是报错;同一帧出现多个事件时如何排序;进入目标状态前是否要停止音频、清空手势或重置口型。把这些副作用集中在状态入口与出口逻辑中,能避免业务代码到处直接操作动画。
完整可运行示例
示例使用 Python 3.11 标准库。同帧事件按优先级处理。每个待播回应有独立代次,旧音频即使迟到也不会启动新一轮播放。打断动作只发出一次取消请求,收到匹配的停止确认才回到聆听。
PRIORITY = {"interrupt": 0, "stop_confirmed": 1, "timeout": 2}
TRANSITIONS = {
("idle", "user"): ("listen", 180),
("listen", "utterance_end"): ("think", 220),
("listen", "timeout"): ("idle", 300),
("think", "audio_ready"): ("speak", 240),
("think", "interrupt"): ("interrupted", 120),
("think", "timeout"): ("listen", 160),
("speak", "interrupt"): ("interrupted", 120),
("speak", "audio_done"): ("listen", 160),
("interrupted", "stop_confirmed"): ("listen", 160),
("interrupted", "timeout"): ("recovery", 160),
("recovery", "stop_confirmed"): ("listen", 160),
}
SCOPED = {"audio_ready", "audio_done", "stop_confirmed"}
class Motion:
def __init__(self):
self.state = "idle"
self.turn = 0
def dispatch(self, events):
result = []
for name, turn in sorted(events, key=lambda event: PRIORITY.get(event[0], 3)):
if name in SCOPED and turn != self.turn:
continue
rule = TRANSITIONS.get((self.state, name))
if not rule:
continue
previous = self.state
self.state, blend_ms = rule
if self.state == "think":
self.turn += 1
effect = "cancel_playback" if self.state == "interrupted" else None
result.append((previous, self.state, blend_ms, effect))
return result
if __name__ == "__main__":
machine = Motion()
for frame in (
[("user", None)], [("utterance_end", None)], [("audio_ready", 1)],
[("audio_done", 1), ("interrupt", None)], [("stop_confirmed", 1)],
[("utterance_end", None)], [("audio_ready", 1)], [("audio_ready", 2)],
):
for old, new, ms, effect in machine.dispatch(frame):
print(old, new, ms, effect or "-")保存为 motion_fsm.py,运行 python motion_fsm.py。
idle listen 180 -
listen think 220 -
think speak 240 -
speak interrupted 120 cancel_playback
interrupted listen 160 -
listen think 220 -
think speak 240 -实际应用为定时器和异步回应附加会话、状态代次及事件 ID,丢弃过期回执。课堂的超时事件假定已由调用方绑定到当前状态。若停止确认超时,示例进入恢复态并继续禁止新播报。接入播放器后,应显式停止旧流,清理缓存、口型和手势,并确保旧流的迟到块不会重新播放。
工程校验与常见问题
状态机接入动画系统时,应记录每次转换的时间、事件来源和目标状态,便于复现“卡在思考”“说话被重复启动”等问题。动画播放完成不是唯一转换条件,语音识别、对话模型和语音合成也可能超时,因此每个等待状态都应有兜底事件。
- 不要让业务模块直接切换动画,应统一派发事件。
- 不要同时播放两个全身主动作,应通过状态优先级完成抢占。
- 打断发生时先停止语音与口型,再进入打断过渡。
- 对重复事件进行去重,避免同一状态被反复重新进入。
- 为关键路径编写状态序列测试,验证转换顺序和
blend_ms是否符合预期。
本课总结
- 动作状态机通过状态、事件、转换规则和优先级消除动画冲突。
- 打断是高优先级抢占路径,必须同步停止语音、口型和当前主动作。
- 将副作用放在状态入口与出口中,可以保持业务逻辑和动画控制边界清晰。
下一课预告
后续将继续把状态机连接到具体动画资源、姿态驱动与时序平滑,使离散状态能够稳定输出连续、自然且可中断的角色动作。