把 ElevenLabs 那套搬回自己电脑:VoiceStudio 用 AGPL-3.0 开源了克隆、配音、听写、转写六合一,六个平台全本地跑,代价是 Windows 上 A 卡只能吃 CPU

本页目录 9 节
先说一个很具体的场景:你手上有 12 秒录音,想让这段声音把一篇 3000 字的稿子念出来——同样的音色、同样的口音、同样的停顿习惯。
这条路过去只有两个走法:要么按月付费买云服务,把声音样本和文本一起上传;要么自己凑一套 TTS,装模型、配环境、写推理脚本,运气好两天能出声,运气不好卡在 CUDA 版本上。
VoiceStudio 走的是第三条:一个装完就能用的桌面应用,所有推理都在你本机跑,断网也能用。它是 AGPL-3.0 的开源项目,也是最近 GitHub 上增速最快的那一档(抓取时约 9.7 万星)。
这篇不评「像不像真人」——那要做盲听测试,谁都没给数据。只把能装什么、要多少空间、有哪些坑说清楚,让你自己判断值不值得装。
一、交付清单
| 项目 | 情况 |
|---|---|
| 开源方 | debpalash/VoiceStudio(仓库同名) |
| 官网 | voicestudio.sh(安装脚本也从这里发) |
| 许可 | 应用本体 AGPL-3.0;模型权重与音色各有自己的许可 |
| 形态 | 桌面应用(图形界面)+ 本地语音服务(监听 127.0.0.1:3900) |
| 最新版 | v0.5.7(2026-10-26) |
| 界面语言 | 英文;仓库 README 有简体中文版 |
| 收费 | 免费,没有付费云;项目靠赞助维持 |
平台分三档,装之前先对照自己那台:
| 平台 | 状态 | 能用的加速 |
|---|---|---|
| macOS(Apple Silicon) | 稳定 | Metal / MPS |
| Windows 10 / 11(x64) | 稳定 | NVIDIA CUDA;AMD ROCm 可选;CPU |
| Linux(x64) | 稳定 | NVIDIA CUDA;CPU |
| Docker | 稳定 | NVIDIA CUDA;AMD ROCm |
| Android 10+ | 预览 | 端上离线 |
| iPhone / iPad(iOS 17+) | 预览 | 端上离线(ipa 侧载) |
| Windows on ARM | 实验 | x64 兼容层下的 CPU |
| Intel Mac | 受限 | 只有界面,必须连远程后端 |
二、它到底能做什么
官方把自己叫「本地版 ElevenLabs」,落到功能上是六件事:声音克隆、声音设计(用文字描述生成音色)、视频配音、听写、转写、有声书朗读。再往外还有批量队列、快捷键、本地 API 与 MCP。
干这些活的不是一个模型,而是一堆引擎,你在「模型管理」里选:
| 方向 | 默认 | 还能换成 |
|---|---|---|
| 语音合成 | VoiceStudio(OmniVoice) | VoxCPM2、CosyVoice 3、IndexTTS 2.5、GPT-SoVITS、MOSS-TTS 系列、KittenTTS、Supertonic-3、PocketTTS、dots.tts、MLX-Audio(含 Kokoro / CSM / Dia)、audio.cpp 系(GGUF + Vulkan) |
| 语音转写 | WhisperX、Faster-Whisper | whisper.cpp、MLX Whisper、PyTorch Whisper、Parakeet TDT、Moonshine、FunASR(SenseVoice,50+ 语言,带分人)、Sherpa-ONNX 流式 |
| 说话人分离 | pyannote | 不算独立引擎,配音流程里调用(需要 Hugging Face 授权) |
这个设计的好处很直接:换个模型不用重装整个软件。坏处也在同一处——引擎越多,「哪个引擎支持哪种功能、吃多少显存、占多少盘」的组合就越多,第五节和第六节专门讲这个。
三、三条上手路径,按你的身份选
路径一:就想剪个音频、配个音。装应用,打开「声音克隆」,选一个自带音色或加一段 5–15 秒干净录音,输入文字,生成。它在下载任何模型之前会先问你。
路径二:写脚本批量跑。后端是常驻的本地服务,端口 3900,先探能力:
curl http://127.0.0.1:3900/.well-known/voicestudio-speech
返回 voicestudio.speech.v1 的能力清单,里面的地址是相对路径,所以挂在 Tailscale 或反向代理后面也能用。仓库还带一个零依赖的 Python 客户端,适合做钩子和终端工具。
路径三:让 Agent 用你选的声音说话。MCP 服务器挂在同一个后端的 /mcp,不用另起进程,应用开着就能连。工具包括:
| 工具 | 干什么 |
|---|---|
generate_speech |
文字 → 语音(默认 WAV) |
clone_voice |
一段参考音频 → 新的音色档案,返回 profile_id |
describe_voice / design_voice |
把文字描述映射成性别、年龄、音高、风格,再生成音色 |
transcribe |
音频 → 文字 |
check_health |
后端状态 + 当前用的是哪块 GPU |
这里有个很懂 Agent 的设计:音频默认是 base64 塞回上下文的,一段 WAV 能吃掉大量 token。把 OMNIVOICE_MCP_OUTPUT_MODE 设成 files,它就改成写文件、只回路径。另外 OMNIVOICE_MCP_BASE_PATH 是明确的文件访问边界——不设这个,任何路径参数一律拒绝。给 Agent 开文件权限这件事,它默认是收紧的。
四、安装:三条命令,别多走
| 系统 | 命令 |
|---|---|
| macOS / Linux | curl -fsSL https://voicestudio.sh/install | sh |
| Windows(PowerShell) | irm https://voicestudio.sh/install.ps1 | iex |
| 从源码 | git clone 之后 bun run dev |
安装脚本支持指定版本(--version X.Y.Z)、跟随主分支(--main)、卸载(--uninstall,保留你的数据)。Linux 另有 AppImage、deb、Snap、Nix 几条路;服务器上可以直接拉 GHCR 的镜像跑 Docker。
macOS 上如果提示「VoiceStudio 已损坏」,不是包坏了,是 Gatekeeper 拦了——第一次要右键 → 打开,放行一次。这条坑官方专门写在文档里,因为报的人太多。
五、真实的账:磁盘、显存、第一次为什么慢
先说体积。OmniVoice 首次下载约 2.3 GB。这只是默认引擎。麻烦在于有几个引擎(IndexTTS2、MOSS-TTS-v1.5、dots.tts)依赖和主环境的 torch 冲突,必须各开一个独立虚拟环境——而「一个独立的 torch」有多重,官方给了实测数:
| 平台 | torch CUDA wheel | 加上捆绑的 CUDA 库 |
|---|---|---|
| Linux(cu128) | 约 0.83 GiB | 再加几个 GiB 的 nvidia-* 包 |
| Windows(cu128) | 约 3.2 GiB(DLL 都在 wheel 里) | — |
好消息是依赖管理器 uv 会给相同的 wheel 做硬链接或写时复制,多个环境共享同一份字节。但有两个前提:缓存目录和各引擎的虚拟环境必须在同一个文件系统上(跨盘就退化成完整拷贝),而且必须是完全相同的那个 wheel——torch 2.6+cu124 和 2.8+cu128 是两个 wheel,一点都不会共享。
所以硬盘紧的人记住一句:别为了尝鲜把十几个引擎全装上。先装两套,玩熟了再换。
再说速度。官方性能文档的实测基线是一台 16GB 的 M2,三条结论比任何跑分都有用:
- 重启后的第一次生成永远最慢。权重是惰性加载的,约 8 秒;CUDA 还要编译内核,Apple Silicon 要预热 Metal。判断快慢要看第二次之后。
- 音色档案里「转录文本」那一栏别留空。留空的话,每次生成都会先跑一遍整段 Whisper——这就是那个「更新完 TTS 突然变慢、CPU 打满」的老问题(v0.3.15 之前每次生成跑一次,之后改成跑一次存下来,但导入或手工编辑的数据仍会复现)。
- Windows 上只有 N 卡能用 GPU。PyTorch 引擎在 Windows 走的是 NVIDIA/CUDA,AMD 与 Intel 显卡会被静默降级到 CPU——能用,只是慢几倍。要用上 A 卡得换 audio.cpp 那一系(走 Vulkan)。应用里「设置 → 性能」会明说当前是 cuda / mps / cpu,以及「为什么没用上」。
六、六个容易踩的坑
- 参考音频不是越长越好。界面接受 75 秒以内,但建议 5–15 秒干净人声。OmniVoice 实际只用 20 秒内、自动挑「语音最多」的 15 秒窗口,VoxCPM2 保留前 30 秒。超过上限还硬塞转录文本,请求会被直接拒(
clone_ref_too_long)。 - 「646 种语言」是跨引擎口径。不同引擎覆盖的语言数差很多,别把这个数字当成「随便哪种语言都行」。中文场景建议先用默认引擎试,再决定要不要换。
- 手机端是预览。Android 10+ 给的是 apk、iOS 17+ 给的是 ipa(侧载),端上离线跑——能用,但别指望它跟桌面同水准。
- Intel Mac 只能当遥控器。官方写明这台机器上只跑界面,推理必须连远程后端。
- 下载慢多半不是网速问题。它内置了分块并行下载器(最多 8 段、每段 16MB、断了按清单续传),但默认关掉了 Hugging Face 的 Xet 加速通道——因为那个通道拿不到逐字节进度。填一个 Hugging Face token 会明显变快。
- 配音过程会临时把 TTS 挪到 CPU。这是为了腾显存给转写模型,属于正常调度;老版本在取消配音时不会挪回来,之后每次生成慢 10–50 倍,v0.3.23 已修。用旧版遇到「突然变慢」,重启后端即可。
七、许可与合规:这两条要看清
应用是 AGPL-3.0。自己用、改、商用都可以,但如果你把它改成对外提供的服务,改动部分要按同许可开源。它不是一个能闭源嵌进商业产品的组件。
模型不是同一个许可。音色、权重、生成产物各有各的条款,应用里的模型管理会逐项显示。有些引擎的权重是研究 / 非商用许可,装之前那一步会弹许可确认,别一路点同意。
还有一条不是法律问题但更重要:克隆声音必须取得本人同意。项目 README 把这句话单独写成一段。技术上 15 秒样本就够了,这条线只能靠人守。
八、值不值得装
| 你的情况 | 建议 |
|---|---|
| 要给视频、播客配音,素材不能出门 | 值得,本地跑正好解决合规与隐私 |
| 做有声书、批量朗读长文本 | 值得,有队列与批量任务 |
| 只想把录音转成文字 | 可以但要权衡:只做转写的话,Buzz 这类更轻的工具就够了 |
| 想让 AI Agent 开口说话 | 值得,MCP 挂在本地后端上,接起来最省事 |
| 机器只有核显、硬盘剩不到 20GB | 先别装,跑得动但会很憋屈 |
| 要把它嵌进闭源商业产品 | 不建议,AGPL 会传导到你的改动 |
如果决定装,最短路径是:跑那条安装命令 → 打开「声音克隆」→ 录 10 秒自己的声音 → 生成一句短句 → 觉得音色能接受,再去模型管理里换引擎。别一上来就把所有引擎点一遍。
九、一句话
它解决的不是「合成得好不好听」,而是「这件事能不能不出我的机器」。语音是最容易被当成隐私的一类数据,而过去几年好用的方案几乎都要求你把声音样本上传。VoiceStudio 把这条路在地面上重铺了一遍:AGPL、六个平台、十几套引擎可换、后端还给你留了 HTTP 与 MCP 两个口子。
代价也很具体:2.3 GB 起步的模型、Windows 上只认 N 卡、手机端还在预览、AGPL 不允许闭源嵌入。这几条能接受,它就值得占你一个应用位;不能接受,说明你要的其实是云服务。
↓ 获取资源
点击按钮直接前往资源页面。