AI 内容创作 / 系统课时

数字人动作状态机

数字人动作状态机

数字人需要根据用户是否出现、语音是否结束、回答是否就绪以及是否被打断,及时切换角色动作。仅靠连续播放动画容易产生冲突。本课将把动作组织为有限状态机,明确事件、优先级、转换条件和过渡时长,并实现一个可运行的状态切换示例。

学习目标

  • 设计待机、聆听、思考、说话和打断五类动作状态
  • 定义事件驱动的转换规则与抢占优先级
  • 使用 Python 验证状态路径和过渡动画参数

状态、事件与优先级

状态表示角色在一段时间内持续成立的动作模式,事件表示触发状态变化的外部或内部信号。状态机必须保证任一时刻只有一个主状态生效,面部表情、眼神和手势可以作为子层叠加,但不能绕过主状态直接争夺全身骨骼控制权。

数字人动作状态机与优先级示意

状态 典型循环动作 进入条件 建议优先级
待机 呼吸、轻微重心变化 无交互或超时 10
聆听 面向用户、轻点头 检测到用户或语音 40
思考 目光偏移、短暂停顿 用户话语结束 60
说话 口型、手势与注视 回答音频就绪 80
打断 停止当前发言、转向用户 用户在说话阶段插话 100

优先级决定冲突发生时谁可以抢占谁。打断应先于同帧到达的旧音频就绪或播完事件。发送取消请求后等待本地播放停止的确认,动画过渡时长和停止语音的时间是两项独立指标。待机优先级最低,只能在没有更重要任务时运行。优先级不能替代转换条件,两者需要同时定义。

转换规则与过渡动画

每条转换至少包含当前状态、触发事件、目标状态和过渡时长。过渡时长用于骨骼混合,过短会造成动作跳变,过长会使数字人反应迟钝。打断路径通常比普通切换更短,而从聆听回待机可以更平缓。

设计转换时还应明确三个边界:无效事件是忽略、排队还是报错;同一帧出现多个事件时如何排序;进入目标状态前是否要停止音频、清空手势或重置口型。把这些副作用集中在状态入口与出口逻辑中,能避免业务代码到处直接操作动画。

完整可运行示例

示例使用 Python 3.11 标准库。同帧事件按优先级处理。每个待播回应有独立代次,旧音频即使迟到也不会启动新一轮播放。打断动作只发出一次取消请求,收到匹配的停止确认才回到聆听。

python
PRIORITY = {"interrupt": 0, "stop_confirmed": 1, "timeout": 2}
TRANSITIONS = {
    ("idle", "user"): ("listen", 180),
    ("listen", "utterance_end"): ("think", 220),
    ("listen", "timeout"): ("idle", 300),
    ("think", "audio_ready"): ("speak", 240),
    ("think", "interrupt"): ("interrupted", 120),
    ("think", "timeout"): ("listen", 160),
    ("speak", "interrupt"): ("interrupted", 120),
    ("speak", "audio_done"): ("listen", 160),
    ("interrupted", "stop_confirmed"): ("listen", 160),
    ("interrupted", "timeout"): ("recovery", 160),
    ("recovery", "stop_confirmed"): ("listen", 160),
}
SCOPED = {"audio_ready", "audio_done", "stop_confirmed"}


class Motion:
    def __init__(self):
        self.state = "idle"
        self.turn = 0

    def dispatch(self, events):
        result = []
        for name, turn in sorted(events, key=lambda event: PRIORITY.get(event[0], 3)):
            if name in SCOPED and turn != self.turn:
                continue
            rule = TRANSITIONS.get((self.state, name))
            if not rule:
                continue
            previous = self.state
            self.state, blend_ms = rule
            if self.state == "think":
                self.turn += 1
            effect = "cancel_playback" if self.state == "interrupted" else None
            result.append((previous, self.state, blend_ms, effect))
        return result


if __name__ == "__main__":
    machine = Motion()
    for frame in (
        [("user", None)], [("utterance_end", None)], [("audio_ready", 1)],
        [("audio_done", 1), ("interrupt", None)], [("stop_confirmed", 1)],
        [("utterance_end", None)], [("audio_ready", 1)], [("audio_ready", 2)],
    ):
        for old, new, ms, effect in machine.dispatch(frame):
            print(old, new, ms, effect or "-")

保存为 motion_fsm.py,运行 python motion_fsm.py。

text
idle listen 180 -
listen think 220 -
think speak 240 -
speak interrupted 120 cancel_playback
interrupted listen 160 -
listen think 220 -
think speak 240 -

实际应用为定时器和异步回应附加会话、状态代次及事件 ID,丢弃过期回执。课堂的超时事件假定已由调用方绑定到当前状态。若停止确认超时,示例进入恢复态并继续禁止新播报。接入播放器后,应显式停止旧流,清理缓存、口型和手势,并确保旧流的迟到块不会重新播放。

工程校验与常见问题

状态机接入动画系统时,应记录每次转换的时间、事件来源和目标状态,便于复现“卡在思考”“说话被重复启动”等问题。动画播放完成不是唯一转换条件,语音识别、对话模型和语音合成也可能超时,因此每个等待状态都应有兜底事件。

  • 不要让业务模块直接切换动画,应统一派发事件。
  • 不要同时播放两个全身主动作,应通过状态优先级完成抢占。
  • 打断发生时先停止语音与口型,再进入打断过渡。
  • 对重复事件进行去重,避免同一状态被反复重新进入。
  • 为关键路径编写状态序列测试,验证转换顺序和 blend_ms 是否符合预期。

本课总结

  • 动作状态机通过状态、事件、转换规则和优先级消除动画冲突。
  • 打断是高优先级抢占路径,必须同步停止语音、口型和当前主动作。
  • 将副作用放在状态入口与出口中,可以保持业务逻辑和动画控制边界清晰。

下一课预告

后续将继续把状态机连接到具体动画资源、姿态驱动与时序平滑,使离散状态能够稳定输出连续、自然且可中断的角色动作。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

数字人动作状态机

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通