开源数字人产线，从零到直播只要一条命令

这篇来聊数字人直播！

电商带货、医疗导诊、景区导游……

这些场景背后都有一个共同的技术栈：

STT（语音转文字）→ LLM（理解并回复）→ TTS（文字转语音）→ 口型驱动视频 → WebRTC 实时推流。

每个环节都有成熟方案，但把它们串起来、支持实时对话、支持私有化部署、支持多种模型热插拔——这是一个完整的工程活。

OpenTalking 把这个活干完了。

01 不是 demo，是产线

OpenTalking 的定位很明确——它不是一个让你体验 AI 数字人的玩具，而是一条可落地的数字人对话产线。

从产品角度看，它覆盖了数字人对话产品的完整链路：

前端交互 → 会话状态管理 → LLM 回复 → STT 语音识别 → TTS 语音合成 → 音色选择 → 打断控制 → 字幕事件 → WebRTC 音视频播放 → 本地或远端模型服务调用。

每一环都是真实产品需要的能力，不是 POC 级别的演示。

比如打断控制——用户说话时数字人正在播报，需要立刻停掉当前输出、重新理解用户意图、生成新回复。这在技术上不难，但在延迟、音质、口型同步上做好的不多。OpenTalking 把这整个链路统一在了一个框架里。

02 六条部署路线，从 CPU 到多卡 GPU

OpenTalking 最贴心的设计是：它不强迫你一开始就买高端显卡。

第一条路线是 Mock 模式——不需要任何 GPU，不需要下载任何模型权重。用内置的静态帧，走完整的 LLM → TTS → WebRTC 链路。你可以在一台普通笔记本上验证整个产品逻辑，确认 API 通不通、TTS 响不响、WebRTC 播不播得了。

第二条是 QuickTalk / Wav2Lip——RTX 3050 Laptop 就能跑，3.8 GiB 显存，35 fps。适合功能演示和部署验证。

第三条是 RTX 3090 / 4090 消费级显卡——更接近实时体验，本地私有化验证和轻量生产前评估。

第四条是全本地私有化路径——SenseVoice 本地 STT + CosyVoice 本地 TTS + QuickTalk 本地驱动，数据完全不出本机。CosyVoice 跑在独立 sidecar venv，OpenTalking 用主环境，互不干扰。

第五条是 OmniRT 远端推理——FlashTalk、FlashHead、FasterLivePortrait 等高质量模型，支持多卡 GPU 和昇腾 910B2，适合生产环境。

第六条是 Docker 生产部署——API、Web、Worker 分离，单机 GPU、远端 GPU、分布式集群都支持。

这个分层设计让不同需求的用户都能找到合适的入口。个人开发者从 Mock 开始，企业用户直接从 Docker 部署走起。

03 三种工作流，三类场景

OpenTalking 支持三种前端工作流，对应三种不同的产品场景：

实时对话：用户说话，数字人回应，延迟可控，支持打断。适合电商直播、陪伴角色、新闻主播。

视频创作：输入文字或音频，驱动数字人产出视频。支持语音驱动、文字驱动、克隆音色驱动三种模式。适合做预制内容。

视频克隆：上传一段视频或打开摄像头，实时模仿目标人物的口型和表情。适合做个性化数字分身。

三种工作流共享同一套底层能力——LLM、TTS、知识库、记忆系统。一次配置，多场景复用。

04 技术栈：Python 全栈 + 可插拔架构

后端 Python 3.10+，FastAPI + uvicorn，前端 React 18 + TypeScript + Vite + Ant Design。

核心运行时是四件套：

• • harness-agent：Agent 运行时，负责模型路由、工具调用、对话检查点
• • harness-gateway：IM 通道桥接，统一消息处理管线
• • harness-memory：分层记忆系统，记忆随工作区迁移
• • harness-browser：CDP 协议浏览器自动化

所有入口——Web UI、IM 通道、定时任务——通过进程内的 HarnessProcessor 统一路由，不依赖外部消息队列。重启后状态从数据库重建，数据存在 ~/.opentalking/ 下。

模型后端是可插拔的：Mock、Local、Direct WebSocket、OmniRT 四种模式，一键切换。STT、TTS、LLM 各自独立配置，支持 OpenAI 兼容接口、DashScope、小米 MiMo 等多种 provider。

05 知识库和记忆系统

OpenTalking 内置了 LightRAG 知识库和 mem0 记忆系统，支持 BM25 检索和向量检索两种模式。

这意味着什么？你的数字人不再是无记忆的聊天机器人。它可以记住之前的对话内容，可以检索你的私有知识库，可以根据上下文调整回答风格。

2026 年 6 月还加了微信记忆导入和人格工作流——可以把微信聊天记录导入作为数字人的记忆素材，让它的”性格”更有个人特色。

06 适合谁，不适合谁

适合：

• • 想做数字人产品的团队——这套产线可以直接商用，文档和部署方案都很完整
• • 想私有化部署的企业——全本地 STT/TTS/LLM 路径，数据不出本机
• • 想快速验证数字人创意的个人开发者——Mock 模式零成本试错
• • 需要多场景复用的内容创作者——实时对话、视频创作、视频克隆三种工作流一套代码

不适合：

• • 只想白嫖现成数字人服务——这是开发框架，不是即装即用的 SaaS
• • 没有 GPU 还想跑高质量实时驱动——除了 Mock 模式，至少需要 RTX 3060
• • 追求最高画质——FlashTalk 14B 需要多卡，单卡最佳体验是 QuickTalk 的 35fps

写在最后

数字人赛道这几年很热，但大多数项目是云 API 服务。

OpenTalking 走的是中间那条路——提供完整的工程化框架，让你能在自己的机器上跑一套真正可用的数字人系统。

它的核心价值在于把 LLM、STT、TTS、口型驱动、WebRTC、知识库、记忆系统这些散落在不同项目里的能力，整合到了一个可插拔、可私有化、可生产部署的框架里。

如果你在做数字人相关产品，OpenTalking 是目前开源社区里最完整的选择之一。

GitHub：https://github.com/datascale-ai/opentalking