音频开发 / 系统课时

管理上下文与音频会话状态

管理上下文与音频会话状态

可打断语音对话同时存在“用户说了什么、当前识别到哪、正在播哪段、哪个异步请求仍有效”四类状态。本节把它们收拢到一个会话对象中,并用请求标识、超时清理和上下文裁剪避免串话、旧回调覆盖新结果和内存持续增长。

学习目标

  • 设计能关联文本历史、识别结果、播放状态和请求标识的会话模型
  • 用会话键与请求标识隔离并发用户,并拒绝过期异步回调
  • 实现上下文裁剪与空闲超时清理,控制内存和模型输入长度

把状态收拢到会话边界

实时语音链路至少会同时经过采音、ASR、对话模型和 TTS。若每个模块各自保存“当前用户”或“最近请求”,并发时很容易把 A 用户的回调写进 B 用户的状态。更稳妥的做法是让所有可变状态都归属于明确的 sessionKey,模块之间只传会话键和请求标识。

语音会话状态与异步请求关系

一个实用的会话模型应区分“稳定历史”和“瞬时状态”。已经确认的用户文本与助手文本可以进入历史;ASR 的中间结果只覆盖临时字段,不应每次都追加到历史;播放状态只描述当前 TTS 是否正在播、播哪个请求。

用请求标识挡住过期回调

语音系统最常见的竞态不是线程同时写,而是旧请求更晚返回。例如用户第一次说话触发 llm-1,随后打断并触发 llm-2;若 llm-1 最后才返回,不能继续生成或播放旧答案。

下面的 Java 17 示例把会话存进 ConcurrentHashMap,再在单个会话对象上同步修改。每次开始新请求都会生成新的 requestId,回调只有在标识仍匹配时才能提交结果。

java
import java.time.Duration;
import java.time.Instant;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.UUID;
import java.util.concurrent.ConcurrentHashMap;

public class VoiceSessionDemo {
    enum PlayState { IDLE, PLAYING, INTERRUPTED }

    record Message(String role, String text) {}

    static final class SessionState {
        final List<Message> history = new ArrayList<>();
        String partialTranscript = "";
        String llmRequestId;
        String ttsRequestId;
        PlayState playState = PlayState.IDLE;
        volatile Instant lastActiveAt = Instant.now();
    }

    static final class SessionManager {
        private final Map<String, SessionState> sessions = new ConcurrentHashMap<>();
        private final int maxMessages;
        private final Duration idleTimeout;

        SessionManager(int maxMessages, Duration idleTimeout) {
            this.maxMessages = maxMessages;
            this.idleTimeout = idleTimeout;
        }

        SessionState get(String sessionKey) {
            return sessions.computeIfAbsent(sessionKey, key -> new SessionState());
        }

        String startLlm(String sessionKey, String userText) {
            SessionState s = get(sessionKey);
            synchronized (s) {
                s.history.add(new Message("user", userText));
                trim(s.history);
                s.llmRequestId = UUID.randomUUID().toString();
                s.lastActiveAt = Instant.now();
                return s.llmRequestId;
            }
        }

        boolean completeLlm(String sessionKey, String requestId, String answer) {
            SessionState s = get(sessionKey);
            synchronized (s) {
                // 只接受当前仍有效的请求,旧回调直接丢弃。
                if (!requestId.equals(s.llmRequestId)) {
                    return false;
                }
                s.history.add(new Message("assistant", answer));
                trim(s.history);
                s.lastActiveAt = Instant.now();
                return true;
            }
        }

        void interruptPlayback(String sessionKey) {
            SessionState s = get(sessionKey);
            synchronized (s) {
                s.playState = PlayState.INTERRUPTED;
                s.ttsRequestId = null; // 让旧 TTS 回调失效。
                s.lastActiveAt = Instant.now();
            }
        }

        int cleanupExpired() {
            Instant now = Instant.now();
            int before = sessions.size();
            sessions.entrySet().removeIf(e ->
                    Duration.between(e.getValue().lastActiveAt, now).compareTo(idleTimeout) > 0);
            return before - sessions.size();
        }

        private void trim(List<Message> history) {
            while (history.size() > maxMessages) {
                history.remove(0);
            }
        }
    }

    public static void main(String[] args) {
        SessionManager manager = new SessionManager(4, Duration.ofMinutes(10));
        String key = "user-42:device-a";

        String oldId = manager.startLlm(key, "第一问");
        String newId = manager.startLlm(key, "打断后第二问");

        System.out.println(manager.completeLlm(key, oldId, "旧答案"));
        System.out.println(manager.completeLlm(key, newId, "新答案"));
        System.out.println(manager.get(key).history.size());
    }
}

预期输出:

text
false
true
3

第一行是 false,说明旧请求即使晚到也不能提交;第二行 true 表示当前请求被接受;历史中保留两条用户消息和一条有效助手消息。生产环境的请求标识通常还会透传到 ASR、LLM、TTS 和链路追踪中,便于定位一次完整会话。

裁剪上下文而不是无限累积

“保存历史”不等于“永久保留全部历史”。会话状态通常只需要保留最近若干轮,或在送入模型前按 token 预算裁剪。最简单的消息条数上限容易实现,但长短消息差异很大;接入模型后应优先按 token 预算从旧到新删除,必要时保留一条经过压缩的会话摘要。

ASR 中间结果也不应进入长期历史。只有最终识别结果确认后,才把用户文本追加为一条消息;TTS 音频缓冲区属于瞬时资源,播放结束或被打断后应立即释放,而不是跟文本历史一起存进会话。

用超时和销毁动作闭环

会话应在每次收到音频、确认识别结果、提交模型结果或开始播放时刷新 lastActiveAt。后台定时任务按空闲时长清理会话;WebSocket 主动关闭、用户退出或服务端检测到异常终止时,也应触发显式销毁。

清理时不仅删除 Map 条目,还要取消未完成的 ASR、LLM、TTS 请求、停止播放器、释放音频缓冲区。这样“会话对象消失”与“后台任务停止”保持一致,才能真正避免幽灵回调和资源泄漏。

最终可以用三个条件验收状态管理是否可靠:不同 sessionKey 的数据互不可见;旧 requestId 的回调不会改变当前状态;会话超过空闲阈值后,其文本、请求句柄和音频资源都能被完整释放。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

管理上下文与音频会话状态

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通