跳到主要内容

语音合成 · TEXT TO SPEECH

Luna-TTS

自然表达,稳定音色,让内容与实时应用拥有自己的声音。

Luna-TTS 是 VUI Labs 的 AI 语音合成模型,注重自然的语音表达、准确的内容传达与一致的说话人音色,为视频配音、故事讲述和交互式语音应用提供文字转语音与音色克隆能力。通过 Luna-TTS API,可以使用系统音色或克隆音色,加入语音表达标签,并获取完整音频或流式音频。

先听听声音​

从一句细腻的表达,到故事、对话和游戏场景,先听听 VUI Labs 官网的六段示例。点击播放感受声音,也可以展开原文,边听边读。

01情感语音英语

Okay, okay, breathe. You don't have to be fine right now. I'll wait. I'm good at waiting.

0:00
0:08
查看完整文本

Okay, okay, breathe. You don't have to be fine right now. I'll wait. I'm good at waiting.

02自然流畅的对话英语

Thanks for calling Harbor and Vine. How can I help you today? Hi, I'd like to book a table for four this Friday around 7:30, if possible. Sure, let me just check the a…

0:00
1:29
查看完整文本

Thanks for calling Harbor and Vine. How can I help you today? Hi, I'd like to book a table for four this Friday around 7:30, if possible. Sure, let me just check the availability for you. I'm sorry, we don't have anything available at exactly 7:30, but I can offer you 7:15 or 7:45. Would either of those times work? Oh, okay. Let's go with 7:45, then. And could we possibly have a quieter table? It's actually my parents' anniversary, so we'd like somewhere a little more peaceful. Of course, I'd be happy to add that request. Just so you know, we can't guarantee the exact seating location, but we'll definitely do our best to arrange a quieter table for you. Also, may I ask if anyone in your party has any allergies or dietary requirements? Yes, actually. One person in our group is gluten-free. Got it. I'll make a note of that. And can I please get the name for the reservation and a mobile number? Sure, it's Daniel Carter, and the number is 415-555-0148. Thanks, Daniel. Let me confirm that for you. You're all booked for four people this Friday at 7:45 PM under the name Daniel Carter. I've added the request for a quieter table, and noted that one guest is gluten-free. You'll receive a text confirmation shortly. Is there anything else I can help you with today? That's everything. Thanks so much. You're very welcome. You're all set, and we look forward to welcoming you on Friday. Have a great day.

03有声书英语

It is a truth universally acknowledged, that a single man in possession of a good fortune must be in want of a wife. At Longbourn, this truth became especially interes…

0:00
0:23
查看完整文本

It is a truth universally acknowledged, that a single man in possession of a good fortune must be in want of a wife. At Longbourn, this truth became especially interesting whenever a wealthy young gentleman arrived in the neighborhood. To Mrs. Bennet, such an arrival was not merely news— it was an opportunity.

04播客英语

Welcome back to Read the Floor. Today, we're looking at the possession that never shows up in a box score. The point guard comes off the screen, sees the help defender…

0:00
0:20
查看完整文本

Welcome back to Read the Floor. Today, we're looking at the possession that never shows up in a box score. The point guard comes off the screen, sees the help defender lean one step toward the paint, and pauses just half a second. That pause changes everything. The corner opens, the defense rotates, and the pass is already on its way.

05纪录片英语

Every star begins in darkness. Inside a vast cloud of gas and dust, gravity gathers matter into a tightening sphere. As the pressure rises, the core grows hotter, unti…

0:00
0:14
查看完整文本

Every star begins in darkness. Inside a vast cloud of gas and dust, gravity gathers matter into a tightening sphere. As the pressure rises, the core grows hotter, until hydrogen nuclei begin to fuse.

06游戏配音英语

Attention, all shelter personnel. This is an Omega-level emergency broadcast. The Helios-class orbital cannon has locked onto Meridian Colony. Atmospheric defense has…

0:00
0:15
查看完整文本

Attention, all shelter personnel. This is an Omega-level emergency broadcast. The Helios-class orbital cannon has locked onto Meridian Colony. Atmospheric defense has failed. Surface evacuation is no longer possible.

Luna-TTS 的核心能力​

  • 让表达跟随内容。 通过自然的停顿、重音和节奏组织语音,并在文本中加入受支持的笑声、叹气、呼吸等表达标签。
  • 让内容保持统一的声音。 选择系统音色,或使用一段参考录音创建自定义音色,在不同文案中复用。
  • 清晰传达,稳定表达。 兼顾发音准确、音色一致与自然韵律,让长篇叙述和批量配音保持统一的听感。
  • 面向实时语音交互。 在生成过程中逐步返回音频,用于语音助手、对话回复和产品引导。
  • 多语言语音基础。 以中、英、日、韩语音训练,学习不同语言的发音、节奏和表达方式。

从一条广告到一整套课程,我们希望每一次生成都保留清晰的发音、熟悉的音色和贴合内容的表达,让好声音成为可以持续使用的生产力。

听见发音与韵律​

把每个字说清楚​

名字、数字与提示信息,都需要清晰地传达。这七段中英文登机场景语音,让不同的声音走进同一个日常场景。

Ella · 片段 1英语
0:00
0:09
Ella · 片段 2英语
0:00
0:09
Olivia · 片段 1英语
0:00
0:09
Olivia · 片段 2英语
0:00
0:09
展开其余 3 段试听
Zhixia · 片段 1中文
0:00
0:09
Zhixia · 片段 2中文
0:00
0:09
Zhixia · 片段 3中文
0:00
0:09

让语句有起伏​

停顿、重音与节奏,让文字拥有表达的层次。听听七段不同音色的中英文朗读,感受语句之间的轻重缓急。

Fiona · 片段 1英语
0:00
0:15
James · 片段 1英语
0:00
0:12
Jasper · 片段 1英语
0:00
0:18
Jinyu · 片段 1中文
0:00
0:12
展开其余 3 段试听
Jinyu · 片段 2中文
0:00
0:12
Xingran · 片段 1中文
0:00
0:18
Xingyu · 片段 1中文
0:00
0:19

自然听感,实力认可​

Luna-TTS 曾登顶 Hugging Face TTS Arena,并跻身 Artificial Analysis Provider Voice TTS 榜前三,获得真实用户盲听的认可。从发音准确到语音表现力,我们持续打磨每一段声音。

评测成绩
Hugging Face TTS ArenaRating 总榜第 1
Artificial AnalysisProvider Voice TTS 榜第 3
Seed-TTS-Eval 中文字错率 CER 0.73%
Seed-TTS-Eval 英文词错率 WER 1.49%

Luna-TTS 如何生成语音​

并行预测与迭代修正​

Luna-TTS 采用在离散语音 token 上进行的 掩码扩散(Masked Diffusion)。模型从被掩码的位置开始,并行预测多处语音内容,保留高置信度结果,再通过多轮修正完善其余位置。这种方式让语音生成能够利用更完整的上下文,逐步优化整段表达。

紧凑骨干与分阶段训练​

Luna-TTS 使用 0.6B 参数骨干与 Luna-Codec。训练流程包括约 100 万小时语音的基础训练,以及约 10 万小时高质量语音的退火训练;强化学习阶段优先比较内容正确性,并在正确性接近时进一步优化说话人相似度。

从完整上下文到分块生成​

Luna-TTS 的实时架构采用块因果注意力,在保留此前上下文的同时逐块生成语音,兼顾自然听感与快速响应,让语音更顺畅地融入对话。了解技术细节 →

选择适合内容的声音​

先用同一段简短文案比较不同音色,再选择适合的表达方式。以下是 Luna-TTS 系统音色中的部分示例:

音色音色 ID风格
Fionafiona柔和细腻、富有亲近感的女声
Jamesjames优雅、清晰的英式男声
Averyavery亲切温暖的年轻美式女声

如需自定义声音,音色克隆 API支持 3–60 秒、不超过 20 MiB 的参考录音。使用已获授权的单人清晰录音创建音色,再将保存的 voice_id 用于 Luna-TTS。

也可以通过声音设计 API用文字描述创建音色,再将保存后返回的 voice_id 用于 Luna-TTS 合成。

如何使用 Luna-TTS​

创建 API Key,选择已启用的音色,并将 model_id 设置为 luna-tts-1.5。运行前替换下面的两个占位值,请求成功后会将音频保存为 WAV 文件。

export VUILABS_API_BASE_URL="https://api.vuilabs.ai"
export VUILABS_API_KEY="your-api-key"

curl --fail-with-body --request POST \
--url "$VUILABS_API_BASE_URL/v1/text-to-speech" \
--header "X-API-Key: $VUILABS_API_KEY" \
--header "Content-Type: application/json" \
--data '{
"model_id": "luna-tts-1.5",
"text": "每个故事,都值得被听见。让你的文字,拥有自己的声音。",
"voice_id": "YOUR_PROJECT_VOICE_ID",
"language": "zh",
"speed": 1,
"audio_format": "wav"
}' \
--dump-header luna-tts.headers \
--output luna-tts.response || { cat luna-tts.response >&2; exit 1; }

if ! grep -Eiq '^content-type:[[:space:]]*audio/wav([[:space:];]|$)' luna-tts.headers || [ ! -s luna-tts.response ]; then
cat luna-tts.response >&2
echo 'Expected a non-empty audio/wav response' >&2
exit 1
fi
mv luna-tts.response luna-tts.wav

完整请求规则,以及 JavaScript 和 Python 示例,请查看语音合成 API。

调整语音表达​

同一句话,不同的情绪​

平静、开心、悲伤、惊讶,同一句话也能带来不同的感受。这里收录了 34 段情感示例,按音色分组;展开感兴趣的声音,对比相同文本编号下的不同表达。

英文音色 01英语 · 5 段
悲伤 · 文本 1
0:00
0:02
惊讶 · 文本 1
0:00
0:01
平静 · 文本 3
0:00
0:01
悲伤 · 文本 3
0:00
0:01
惊讶 · 文本 3
0:00
0:01
英文音色 02英语 · 3 段
平静 · 文本 3
0:00
0:01
悲伤 · 文本 3
0:00
0:01
惊讶 · 文本 3
0:00
0:01
英文音色 03英语 · 3 段
平静 · 文本 1
0:00
0:01
害怕 · 文本 1
0:00
0:01
惊讶 · 文本 1
0:00
0:01
英文音色 04英语 · 2 段
平静 · 文本 3
0:00
0:01
惊讶 · 文本 3
0:00
0:01
Qingyan中文 · 6 段
平静
0:00
0:01
开心
0:00
0:01
悲伤
0:00
0:02
生气
0:00
0:01
害怕
0:00
0:01
惊讶
0:00
0:01
Qiyan中文 · 5 段
平静
0:00
0:01
开心
0:00
0:01
悲伤
0:00
0:02
害怕
0:00
0:01
惊讶
0:00
0:01
Shuyan中文 · 3 段
开心
0:00
0:01
悲伤
0:00
0:02
害怕
0:00
0:01
中文音色 01中文 · 4 段
平静 · 文本 1
0:00
0:01
悲伤 · 文本 1
0:00
0:01
生气 · 文本 1
0:00
0:01
害怕 · 文本 1
0:00
0:01
中文音色 02中文 · 3 段
平静 · 文本 1
0:00
0:01
悲伤 · 文本 1
0:00
0:02
生气 · 文本 1
0:00
0:01

添加声音细节​

在 text 中需要出现对应声音的位置加入受支持的标签。例如:

{
"model_id": "luna-tts-1.5",
"voice_id": "YOUR_PROJECT_VOICE_ID",
"text": "[sighs] 今天真是漫长的一天。[chuckles] 不过,我们做到了。",
"language": "zh"
}

支持的标签包括 [laughs](笑声)、[chuckles](轻笑)、[sighs](叹气)和 [gasps](倒吸气)等。编写文案时请使用官方标签列表中的语法。

听听这四段副语言示例,感受说话时那些细小的声音如何融入表达。

Grace · 片段 1英语
0:00
0:07
Grace · 片段 3英语
0:00
0:06
Xingran · 片段 1中文
0:00
0:10
Xingran · 片段 3中文
0:00
0:08

调整语速与音量​

通过 speed 在 0.6–1.2 范围内调整语速;同步请求还可通过 volume 在 -5–5 范围内调整音量,流式请求请省略 volume。可以先从 speed: 1、volume: 0 开始,再逐项调整。文本规范化默认开启;设置 text_normalization: false 可在合成前保留原始输入文本。

将流式语音接入应用​

使用 POST /v1/text-to-speech/stream 并设置 model_id: "luna-tts-1.5",即可在生成过程中逐步接收音频。响应按顺序返回音频字节,应用可以在整段生成完成前开始处理音频。

完整音频与流式输出均支持 WAV 和 PCM。播放原始 PCM 时,应根据响应头获取采样率、声道数和位深来配置解码器。具体方式请参阅流式生成示例。

应用场景​

场景Luna-TTS 的使用方式
视频、广告与产品配音将脚本转换为旁白,根据剪辑和内容节奏调整语速。
故事与教学内容在不同段落和课程中复用选定的音色。
语音助手与客服回复将应用生成的文本回复转换为流式语音。
产品引导与无障碍朗读朗读操作说明、通知和屏幕上的文字内容。

处理较长内容时,可按句子或段落边界分段。当前 API 单次支持最多 500 个加权字符:汉字(含扩展区)、平假名、片假名、韩文及长音符 ー/ー 计 2,CR/LF 不计,其他 Unicode 码点计 1;250 个纯中日韩字符允许,251 个在生成与计费前返回 400/10013。各段复用相同音色与控制项,并检查衔接效果。详见请求字段与请求限制。

让声音陪伴整段叙述​

不止听一句,也听一整段。六段较长的语音示例,让你感受连续叙述中的音色、韵律和表达。

Grace · 片段 1英语
0:00
0:32
Grace · 片段 2英语
0:00
0:32
Grace · 片段 3英语
0:00
0:32
Jinyu · 片段 1中文 · 慢速
0:00
0:31
展开其余 2 段试听
Qiyan · 片段 1中文
0:00
0:29
Qiyan · 片段 2中文
0:00
0:30

常见问题​

Luna-TTS 是什么?​

Luna-TTS 是 VUI Labs 的 AI 文字转语音模型,提供自然语音表达与音色克隆能力,并通过完整音频和流式音频输出支持内容创作与交互式应用。

Luna-TTS 支持哪些语言?​

Luna-TTS 基于中文、英文、日语和韩语语音训练。你可以在控制台选择语言和音色,具体用法见音色选择指南。

Luna-TTS 支持音色克隆吗?​

支持。通过音色克隆 API使用参考录音创建音色后,将其 voice_id 与 model_id: "luna-tts-1.5" 一起用于语音合成。

Luna-TTS 适合实时语音应用吗?​

适合。通过流式接口,应用可以一边接收音频一边处理播放,让助手回复、客服对话和产品引导更及时。

Luna-TTS 如何计费?​

语音生成按文本用量计费。当前价格、免费额度、字符计算规则和免费克隆的组织声音槽位规则,请查看定价说明。

了解更多​

准备开始?从生成第一段语音入手,查阅完整 API 文档,或联系支持。