Pocket TTS 是 Kyutai 开源的 1 亿参数文本转语音模型,能在 CPU 上实时运行且无需 GPU。支持高质量语音克隆,pip 一键安装,本地生成不联网,保护隐私。官方说 TTFB 延迟低于 80ms,适合开发者集成到应用、播客制作、有声书等场景。

🎤 引言

Text-to-Speech(文字转语音)这事儿,以前要么用贵的商业 API,要么用 GPT-SoVITS 这种对硬件有要求的模型。

最近 Kyutai 实验室开源了 Pocket TTS,1 亿参数,能在 CPU 上实时跑,还支持声音克隆。Stars 7.3k,不是玩具项目。


⭐ 核心功能

Pocket TTS 能干啥?

CPU 实时推理
这是它最大的亮点——专门为 CPU 优化, pip 安装完直接跑,不需要显卡。官方说 100M 参数模型,在普通笔记本上就能做到实时生成。对没有 GPU 的开发者来说,这个吸引力直接拉满。

声音克隆
给一段参考音频,就能克隆出相似的声音。GitHub 上有人测试说效果「还可以」,比 GPT-SoVITS 稍弱,但胜在轻量和速度。具体效果取决于参考音频的质量。

多种调用方式
Pocket TTS 提供了丰富的使用接口:

  • 命令行:直接 pocket-tts generate --text "Hello" 出音频
  • Python 库pip install pocket-tts 后几行代码调 API
  • 本地服务器pocket-tts serve 起一个 HTTP 服务,RESTful 接口
  • 语音导出export-voice 命令可以把语音导出备用

技术规格
根据官方技术报告,Pocket TTS 在 Word Error Rate 和 Audio Quality 指标上表现不错,优于 F5-TTS 和 DSM 等基线模型。模型 checkpoint 约 1.8GB,TTFB(首字节延迟)低于 80ms。


📥 安装使用

pip 一键安装

pip install pocket-tts

命令行生成音频

# 最简单用法
pocket-tts generate --text "Hello world, this is Pocket TTS speaking."

# 指定输出文件
pocket-tts generate --text "你好,这是中文语音。" --output hello.wav

# 指定语音风格
pocket-tts generate --text "Different voice this time." --voice female_01

本地服务器(HTTP API)

# 启动服务
pocket-tts serve

# 默认端口 8000,调用示例
curl -X POST http://localhost:8000/generate \
  -H "Content-Type: application/json" \
  -d '{"text": "Hello from the API", "voice": "default"}' \
  --output audio.wav

Python 代码调用

from pocket_tts import generate

# 同步生成
audio = generate("这是一段中文语音合成测试")
with open("output.wav", "wb") as f:
    f.write(audio)

Docker 部署

# 如果不想污染本地环境,用 Docker
docker run -p 8000:8000 kyutai/pocket-tts serve

🎯 适用场景

谁适合用 Pocket TTS?

  • 应用开发者:想把 TTS 集成到 App 或小程序里,又不想调第三方付费 API
  • 播客/内容创作者:快速生成配音,不需要专业录音设备
  • 有声书制作:批量文字转语音,配合声音克隆保持音色一致
  • 隐私敏感场景:所有处理在本地跑,数据不外传,适合医疗、法律类应用
  • 无 GPU 用户:学校机房、老旧服务器等没有显卡的环境

说实话,拿它做专业配音还有点差距——情感表达和真实人声比还是有明显感知。但作为「免费 + 本地 + CPU 就能跑」的 TTS 方案,它已经相当能打了。


🔍 对比同类

主流开源 TTS 对比

模型参数量硬件要求声音克隆延迟开源协议
Pocket TTS100MCPU支持<80ms TTFBMIT
GPT-SoVITS约 400MGPU 建议中等开源
XTTS-v2约 200MGPU支持800ms-2s商用
Coqui TTS多种CPU/GPU支持较高MPL

Pocket TTS 的核心竞争力就是 CPU 可跑 + 低延迟。如果你有卡,XTTS-v2 和 GPT-SoVITS 效果更好;但如果追求轻量和快速集成,Pocket TTS 几乎是唯一选择。


⚠️ 注意事项

1. 音质有上限
毕竟是 100M 的小模型,生成的语音在自然度和情感表达上,和 GPT-SoVITS 这种更大参数的方案比有差距。期望别太高,当作「能用」的级别比较合理。

2. 声音克隆需要好样本
GitHub 上有人反馈,克隆效果和参考音频质量强相关。背景噪音多、录音不清晰的效果会打折扣。建议用 10-30 秒、清晰无混响的语音样本。

3. 中文支持要看版本
官方支持多语言,但具体中文效果建议自己测试。如果中文是核心需求,可以先跑一下官方 Demo 看看效果再决定是否集成。

4. 生态还在早期
7.3k Stars,项目挺活跃的,但相比 GPT-SoVITS 这种老牌方案,第三方插件和社区资源还不多。遇到问题可能得多翻翻 GitHub Issues。


✅ 总结

Pocket TTS 解决了开源 TTS 领域一个很实在的痛点:让没有 GPU 的人也能用上本地语音合成。1 亿参数、CPU 实时跑、声音克隆、pip 安装——这几个特性凑在一起,在它之前还真没有太好的方案。

优点:

  • CPU 就能跑,门槛极低
  • pip 一键安装,使用简单
  • 声音克隆支持
  • 延迟低,TTFB < 80ms
  • MIT 协议,商业可用

缺点:

  • 音质不如大参数模型
  • 克隆效果依赖参考音频质量
  • 中文效果需实测确认
  • 社区生态还在发展中

推荐指数:⭐⭐⭐⭐

如果你需要本地跑 TTS、又不想买显卡,Pocket TTS 是目前最值得考虑的方案。集成门槛低,效果「能用」,适合作为应用内嵌的语音功能。追求更高音质的话,可以关注后续版本或者等 Kyutai 推出更大参数模型。

👉 GitHub:https://github.com/kyutai-labs/pocket-tts
👉 技术报告:https://kyutai.org/pocket-tts-technical-report
👉 在线 Demo:https://kyutai.org