跳到内容
分享网

把 ElevenLabs 那套搬回自己电脑:VoiceStudio 用 AGPL-3.0 开源了克隆、配音、听写、转写六合一,六个平台全本地跑,代价是 Windows 上 A 卡只能吃 CPU

VoiceStudio — voicestudio.sh
本页目录 9 节
  1. 1 一、交付清单
  2. 2 二、它到底能做什么
  3. 3 三、三条上手路径,按你的身份选
  4. 4 四、安装:三条命令,别多走
  5. 5 五、真实的账:磁盘、显存、第一次为什么慢
  6. 6 六、六个容易踩的坑
  7. 7 七、许可与合规:这两条要看清
  8. 8 八、值不值得装
  9. 9 九、一句话

先说一个很具体的场景:你手上有 12 秒录音,想让这段声音把一篇 3000 字的稿子念出来——同样的音色、同样的口音、同样的停顿习惯。

这条路过去只有两个走法:要么按月付费买云服务,把声音样本和文本一起上传;要么自己凑一套 TTS,装模型、配环境、写推理脚本,运气好两天能出声,运气不好卡在 CUDA 版本上。

VoiceStudio 走的是第三条:一个装完就能用的桌面应用,所有推理都在你本机跑,断网也能用。它是 AGPL-3.0 的开源项目,也是最近 GitHub 上增速最快的那一档(抓取时约 9.7 万星)。

这篇不评「像不像真人」——那要做盲听测试,谁都没给数据。只把能装什么、要多少空间、有哪些坑说清楚,让你自己判断值不值得装。

一、交付清单

项目 情况
开源方 debpalash/VoiceStudio(仓库同名)
官网 voicestudio.sh(安装脚本也从这里发)
许可 应用本体 AGPL-3.0;模型权重与音色各有自己的许可
形态 桌面应用(图形界面)+ 本地语音服务(监听 127.0.0.1:3900)
最新版 v0.5.7(2026-10-26)
界面语言 英文;仓库 README 有简体中文版
收费 免费,没有付费云;项目靠赞助维持

平台分三档,装之前先对照自己那台:

平台 状态 能用的加速
macOS(Apple Silicon) 稳定 Metal / MPS
Windows 10 / 11(x64) 稳定 NVIDIA CUDA;AMD ROCm 可选;CPU
Linux(x64) 稳定 NVIDIA CUDA;CPU
Docker 稳定 NVIDIA CUDA;AMD ROCm
Android 10+ 预览 端上离线
iPhone / iPad(iOS 17+) 预览 端上离线(ipa 侧载)
Windows on ARM 实验 x64 兼容层下的 CPU
Intel Mac 受限 只有界面,必须连远程后端

二、它到底能做什么

官方把自己叫「本地版 ElevenLabs」,落到功能上是六件事:声音克隆、声音设计(用文字描述生成音色)、视频配音、听写、转写、有声书朗读。再往外还有批量队列、快捷键、本地 API 与 MCP。

干这些活的不是一个模型,而是一堆引擎,你在「模型管理」里选:

方向 默认 还能换成
语音合成 VoiceStudio(OmniVoice) VoxCPM2、CosyVoice 3、IndexTTS 2.5、GPT-SoVITS、MOSS-TTS 系列、KittenTTS、Supertonic-3、PocketTTS、dots.tts、MLX-Audio(含 Kokoro / CSM / Dia)、audio.cpp 系(GGUF + Vulkan)
语音转写 WhisperX、Faster-Whisper whisper.cpp、MLX Whisper、PyTorch Whisper、Parakeet TDT、Moonshine、FunASR(SenseVoice,50+ 语言,带分人)、Sherpa-ONNX 流式
说话人分离 pyannote 不算独立引擎,配音流程里调用(需要 Hugging Face 授权)

这个设计的好处很直接:换个模型不用重装整个软件。坏处也在同一处——引擎越多,「哪个引擎支持哪种功能、吃多少显存、占多少盘」的组合就越多,第五节和第六节专门讲这个。

三、三条上手路径,按你的身份选

路径一:就想剪个音频、配个音。装应用,打开「声音克隆」,选一个自带音色或加一段 5–15 秒干净录音,输入文字,生成。它在下载任何模型之前会先问你。

路径二:写脚本批量跑。后端是常驻的本地服务,端口 3900,先探能力:

curl http://127.0.0.1:3900/.well-known/voicestudio-speech

返回 voicestudio.speech.v1 的能力清单,里面的地址是相对路径,所以挂在 Tailscale 或反向代理后面也能用。仓库还带一个零依赖的 Python 客户端,适合做钩子和终端工具。

路径三:让 Agent 用你选的声音说话。MCP 服务器挂在同一个后端的 /mcp,不用另起进程,应用开着就能连。工具包括:

工具 干什么
generate_speech 文字 → 语音(默认 WAV)
clone_voice 一段参考音频 → 新的音色档案,返回 profile_id
describe_voice / design_voice 把文字描述映射成性别、年龄、音高、风格,再生成音色
transcribe 音频 → 文字
check_health 后端状态 + 当前用的是哪块 GPU

这里有个很懂 Agent 的设计:音频默认是 base64 塞回上下文的,一段 WAV 能吃掉大量 token。把 OMNIVOICE_MCP_OUTPUT_MODE 设成 files,它就改成写文件、只回路径。另外 OMNIVOICE_MCP_BASE_PATH 是明确的文件访问边界——不设这个,任何路径参数一律拒绝。给 Agent 开文件权限这件事,它默认是收紧的。

四、安装:三条命令,别多走

系统 命令
macOS / Linux curl -fsSL https://voicestudio.sh/install | sh
Windows(PowerShell) irm https://voicestudio.sh/install.ps1 | iex
从源码 git clone 之后 bun run dev

安装脚本支持指定版本(--version X.Y.Z)、跟随主分支(--main)、卸载(--uninstall,保留你的数据)。Linux 另有 AppImage、deb、Snap、Nix 几条路;服务器上可以直接拉 GHCR 的镜像跑 Docker。

macOS 上如果提示「VoiceStudio 已损坏」,不是包坏了,是 Gatekeeper 拦了——第一次要右键 → 打开,放行一次。这条坑官方专门写在文档里,因为报的人太多。

五、真实的账:磁盘、显存、第一次为什么慢

先说体积。OmniVoice 首次下载约 2.3 GB。这只是默认引擎。麻烦在于有几个引擎(IndexTTS2、MOSS-TTS-v1.5、dots.tts)依赖和主环境的 torch 冲突,必须各开一个独立虚拟环境——而「一个独立的 torch」有多重,官方给了实测数:

平台 torch CUDA wheel 加上捆绑的 CUDA 库
Linux(cu128) 约 0.83 GiB 再加几个 GiB 的 nvidia-* 包
Windows(cu128) 约 3.2 GiB(DLL 都在 wheel 里) —

好消息是依赖管理器 uv 会给相同的 wheel 做硬链接或写时复制,多个环境共享同一份字节。但有两个前提:缓存目录和各引擎的虚拟环境必须在同一个文件系统上(跨盘就退化成完整拷贝),而且必须是完全相同的那个 wheel——torch 2.6+cu124 和 2.8+cu128 是两个 wheel,一点都不会共享。

所以硬盘紧的人记住一句:别为了尝鲜把十几个引擎全装上。先装两套,玩熟了再换。

再说速度。官方性能文档的实测基线是一台 16GB 的 M2,三条结论比任何跑分都有用:

  1. 重启后的第一次生成永远最慢。权重是惰性加载的,约 8 秒;CUDA 还要编译内核,Apple Silicon 要预热 Metal。判断快慢要看第二次之后。
  2. 音色档案里「转录文本」那一栏别留空。留空的话,每次生成都会先跑一遍整段 Whisper——这就是那个「更新完 TTS 突然变慢、CPU 打满」的老问题(v0.3.15 之前每次生成跑一次,之后改成跑一次存下来,但导入或手工编辑的数据仍会复现)。
  3. Windows 上只有 N 卡能用 GPU。PyTorch 引擎在 Windows 走的是 NVIDIA/CUDA,AMD 与 Intel 显卡会被静默降级到 CPU——能用,只是慢几倍。要用上 A 卡得换 audio.cpp 那一系(走 Vulkan)。应用里「设置 → 性能」会明说当前是 cuda / mps / cpu,以及「为什么没用上」。

六、六个容易踩的坑

  1. 参考音频不是越长越好。界面接受 75 秒以内,但建议 5–15 秒干净人声。OmniVoice 实际只用 20 秒内、自动挑「语音最多」的 15 秒窗口,VoxCPM2 保留前 30 秒。超过上限还硬塞转录文本,请求会被直接拒(clone_ref_too_long)。
  2. 「646 种语言」是跨引擎口径。不同引擎覆盖的语言数差很多,别把这个数字当成「随便哪种语言都行」。中文场景建议先用默认引擎试,再决定要不要换。
  3. 手机端是预览。Android 10+ 给的是 apk、iOS 17+ 给的是 ipa(侧载),端上离线跑——能用,但别指望它跟桌面同水准。
  4. Intel Mac 只能当遥控器。官方写明这台机器上只跑界面,推理必须连远程后端。
  5. 下载慢多半不是网速问题。它内置了分块并行下载器(最多 8 段、每段 16MB、断了按清单续传),但默认关掉了 Hugging Face 的 Xet 加速通道——因为那个通道拿不到逐字节进度。填一个 Hugging Face token 会明显变快。
  6. 配音过程会临时把 TTS 挪到 CPU。这是为了腾显存给转写模型,属于正常调度;老版本在取消配音时不会挪回来,之后每次生成慢 10–50 倍,v0.3.23 已修。用旧版遇到「突然变慢」,重启后端即可。

七、许可与合规:这两条要看清

应用是 AGPL-3.0。自己用、改、商用都可以,但如果你把它改成对外提供的服务,改动部分要按同许可开源。它不是一个能闭源嵌进商业产品的组件。

模型不是同一个许可。音色、权重、生成产物各有各的条款,应用里的模型管理会逐项显示。有些引擎的权重是研究 / 非商用许可,装之前那一步会弹许可确认,别一路点同意。

还有一条不是法律问题但更重要:克隆声音必须取得本人同意。项目 README 把这句话单独写成一段。技术上 15 秒样本就够了,这条线只能靠人守。

八、值不值得装

你的情况 建议
要给视频、播客配音,素材不能出门 值得,本地跑正好解决合规与隐私
做有声书、批量朗读长文本 值得,有队列与批量任务
只想把录音转成文字 可以但要权衡:只做转写的话,Buzz 这类更轻的工具就够了
想让 AI Agent 开口说话 值得,MCP 挂在本地后端上,接起来最省事
机器只有核显、硬盘剩不到 20GB 先别装,跑得动但会很憋屈
要把它嵌进闭源商业产品 不建议,AGPL 会传导到你的改动

如果决定装,最短路径是:跑那条安装命令 → 打开「声音克隆」→ 录 10 秒自己的声音 → 生成一句短句 → 觉得音色能接受,再去模型管理里换引擎。别一上来就把所有引擎点一遍。

九、一句话

它解决的不是「合成得好不好听」,而是「这件事能不能不出我的机器」。语音是最容易被当成隐私的一类数据,而过去几年好用的方案几乎都要求你把声音样本上传。VoiceStudio 把这条路在地面上重铺了一遍:AGPL、六个平台、十几套引擎可换、后端还给你留了 HTTP 与 MCP 两个口子。

代价也很具体:2.3 GB 起步的模型、Windows 上只认 N 卡、手机端还在预览、AGPL 不允许闭源嵌入。这几条能接受,它就值得占你一个应用位;不能接受,说明你要的其实是云服务。

资源信息
界面语言 图形界面(桌面应用:Electron 前端 + Python 后端);另有本地 HTTP 服务 127.0.0.1:3900,以及挂在其上的 MCP 服务器,可用脚本 / 命令行 / AI Agent 调用
授权方式 AGPL-3.0(可自用、可改、可商用;对外提供服务时改动需按该许可开源);模型权重与音色各有自己的许可(应用内 Model Manager 逐项标注),生成产物的权利归你;项目本身没有付费云,靠赞助维持
适用平台 Android / iOS / Linux / macOS / Windows
获取方式 直链下载
资源更新 2026-11-01
页面更新 2026-11-01

↓ 获取资源

点击按钮直接前往资源页面。