Sophon-Realtime
Adventists AI 的开放全双工语音模型:32B 思考模块、三种发声版本,在一张 80 GB 显卡上首音频约 0.25 到 0.6 秒。
一句话概括. Sophon-Realtime 是一个可以自己部署运行的语音助手模型。它在你说话时一直在听,判断什么时候插话,被打断时会停下,回复里还能笑或叹气。它需要一张 80 GB 的大显卡,权重在 Apache 2.0 下免费使用。
概述
Sophon-Realtime v1 是 Adventists AI 的一组开放全双工语音模型。一个 32B 的思考模块全程听着来电者的音频,在每次停顿时,用一个 token 判断说话人是已经说完、仍在说、只是在附和,还是在思考。它从第一次停顿起就起草回复,并用行内声音标签来写,比如笑声或叹气。三个版本共用这个思考模块,只在回复如何变成声音上不同:Tag 用富有表现力的流式语音模型,Flash 用更轻更快的语音模型,E2E 用约 3.5 亿参数的小型说话头,直接生成连续的声音向量,不经过语音 token。思考模块建立在 Adventists AI 自己的 DuplexJev 模型之上,其模型卡列出的基础模型是 Qwen3-VL-32B-Instruct 和 Qwen3-ASR-0.6B。
开发方报告 VoiceBench 得分 82.8,与 GPT-4o-mini-Audio 持平,高于 MiniCPM-o 4.5 的 76.1,Big Bench Audio 为 81.8%,GPT-Live-1 是 90%。在工具调用测试 Full-Duplex-Bench v3 上,它报告 Pass@1 为 48%,取自多次运行中的最好结果,低于 GPT-Realtime 的 60% 和 Gemini Live 3.1 的 54%,高于 Grok 的 43%。NVV-SuperBench 检查回复所需的笑声和叹气是否真的出现在音频里,Tag 版在中文上得 0.86,英文上得 0.80。在一张 H100 80 GB 上,它报告首音频时间 Tag 约 0.6 秒,Flash 为 0.31 秒,E2E 约 0.25 秒,并建议 Flash 每张卡最多 40 路并发,Tag 和 E2E 为 16 路。Adventists AI 说明除非另有标注,它的基准都是自己运行的,这些数字我们都没有复现。
代码和权重采用 Apache 2.0,各版本的 NOTICE 文件列出了仍保留各自许可证的第三方组件。Tag 和 Flash 用 vLLM-Omni 提供服务,有 WebSocket 实时接口和聊天补全接口,另有一个网关兼容 OpenAI 的 GPT-Live 协议。2026 年 11 月 11 日发布的 1.1 版为 Tag 和 Flash 增加了零样本声音克隆,只需 3 到 10 秒的音频。中文和英文完全支持,项目自己的测试称意大利语、德语、西班牙语、法语和葡萄牙语已可用于对话,Flash 还支持日语和俄语,而 E2E 只说中文和英文,且只有一个内置声音。首次公开发布在 2026 年 11 月 8 日,截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计 Tag 权重约 440 次下载,Flash 约 310 次。
适合做什么
- 需要真正全双工行为(可随时打断、会附和)、并在自己掌控的一张 80 GB 显卡上运行的语音智能体
- 会笑会叹气的陪伴、角色和演示语音,用 Tag 版
- 每张卡要服务很多来电者的客服或车载部署,用 Flash 版
- 想要 Apache 2.0 语音方案、并打算用 ms-swift 里的 LoRA 微调人设、语气和工具使用的团队
需要注意
- 它需要数据中心级的 GPU,每个实例一张 80 GB 的卡,运行在带 CUDA 的 Linux 上,Tag 首次启动要 15 到 20 分钟
- 大部分基准数字是开发方自己运行的,工具调用得分取自多次运行中的最好结果,GPT-Realtime 和 Gemini Live 在这项上得分更高
- 项目才发布几天,版本变化很快,目前下载量很少
- 声音克隆只在 Tag 和 Flash 里,开发方要求只克隆自己的声音或已获得授权的声音
- Sophon 各版本采用 Apache 2.0,而单独发布的 DuplexJev 模型是 CC BY-NC,所以请阅读各版本的 NOTICE 文件了解第三方条款
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 Sophon-Realtime 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| Sophon-Realtime-32B-Tag | 32B | 42 GB | 80 GB | 工作站 |
| Sophon-Realtime-32B-Flash | 32B | – | 80 GB | 工作站 |
| Sophon-Realtime-32B-E2E | 32B | – | 80 GB | 工作站 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。 开发方给出的最低显存要求为 80 GB。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
延伸阅读
常见问题
- Sophon-Realtime 是什么?
- Sophon-Realtime 是一个可以自己部署运行的语音助手模型。它在你说话时一直在听,判断什么时候插话,被打断时会停下,回复里还能笑或叹气。它需要一张 80 GB 的大显卡,权重在 Apache 2.0 下免费使用。
- Sophon-Realtime 可以商用吗?
- 可以。Sophon-Realtime 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Sophon-Realtime 是开源的吗?
- Sophon-Realtime 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 Sophon-Realtime 吗?
- 只有工作站才行。最小版本 Sophon-Realtime-32B-Tag 在 4 位精度下约需 80 GB 内存,建议准备 48 至 96 GB 的显卡、多张显卡,或大内存的 Mac。
- Sophon-Realtime 是什么时候发布的?
- Sophon-Realtime 由 Adventists AI 于 2026年11月8日 发布。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Sophon-Realtime v1 family page with benchmark tables (Hugging Face) huggingface.co
- Sophon-Realtime-32B-Tag model card (Hugging Face) huggingface.co
- Sophon-Realtime-32B-Flash model card (Hugging Face) huggingface.co
- Sophon-Realtime-32B-E2E model card (Hugging Face) huggingface.co
- Sophon-Realtime README, languages and changelog (GitHub) github.com
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| LFM3-Audio-2B Liquid AI | 2B | 32K | LFM Open 1.0 (附条件) | 4.6 GB 笔记本或手机 | |
| Voxtral Realtime Mistral AI | 4.43B | 128K | Apache 2.0 (宽松) | 10 GB 笔记本或手机 | |
| Qwen3-ASR Alibaba Qwen | 918M – 2.35B | – | Apache 2.0 (宽松) | 2.12 GB 笔记本或手机 | |
| Qwen3-TTS Alibaba Qwen | 910M – 1.92B | – | Apache 2.0 (宽松) | 3.68 GB 笔记本或手机 |