Skip to content
返回应用详情
M5-TTS

M5-TTS

轻量级开源 TTS 模型,支持 CPU 离线推理、零样本音色克隆,可合成中英德法日韩、普通话、粤语及四川话语音

注意:请在客户端中打开,如果没有客户端,前往下载 >>>

应用特点

开源文本转语音TTS跨语种克隆轻量运行

支持语言

中文英语德语法语日语韩语

方言

粤语四川

系统要求

建议16GB以上内存。硬盘空间9GB以上。
macOS 15及以上版本,支持Intel和M系列芯片。
Windows 10/11,可用Intel, AMD CPU,NVIDIA GPU。
注意:NVIDIA显卡,请安装较新版本的驱动。

我们提供的服务

  • 一键自动安装免去研究命令、配置环境的繁琐操作
  • 付款后 3 天无理由退款支付安装服务费后 3 天内可申请无理由退款
  • 安装服务费用透明按应用收取一次性安装服务费,明码标价
  • 客服工程师专业高效安装与使用问题均可在线沟通;复杂环境问题可远程桌面协助

截图预览

M5-TTS screenshot 1

应用介绍

M5‑TTS是由西北工业大学ASLP@NPU(音频语音与语言处理实验室)开发的开源轻量多语言、多方言文本转语音(TTS)模型,在国内语音技术领域具备很高影响力。M5‑TTS主打小参数体积、本地CPU可运行,兼顾多语种、汉语多方言合成与零样本音色克隆能力,完整开源模型权重、推理代码,面向学术研究与开发者二次开发使用。

✅ 支持语言与方言

外语

  • 英语(English)
  • 德语(German)
  • 法语(French)
  • 日语(Japanese)
  • 韩语(Korean)

中文及方言

  • 普通话(Mandarin)
  • 粤语(Cantonese,广东话)
  • 四川话(Sichuanese)

备注:论文官方评估、训练集明确覆盖以上语种和方言;当前版本官方只正式评测粤语、四川话两种方言,其他方言暂不在官方测试集内,不保证效果。支持跨语言音色保持:用一段参考音频克隆音色后,可以用同一个音色生成上面任意语言/方言的语音。

核心功能与产品特点

  1. 轻量化体积,支持CPU流式推理:语言模型仅约50M参数量,不需要高端GPU,普通CPU就可以做流式语音生成,首块音频延迟低,适合部署在本地设备、边缘硬件上,不需要依赖云端接口。
  2. 多语言+汉语多方言合成:支持上面列出多国语言以及普通话、粤语、四川话合成,同一个模型就可以完成跨语种说话人音色保持,克隆的音色可以直接用来生成不同语言、方言的语音。
  3. 零样本语音克隆:提供一小段参考音频,即可复刻说话人的音色,不需要大量该说话人的训练数据。
  4. 高文本保真度:降低合成语音出现错字、漏读的问题,文字转语音时内容错误率较低,朗读文本时更加准确。

适用场景

  • 本地离线语音助手、边缘设备语音播报;
  • 多语种、方言有声内容制作;
  • AI对话系统的语音输出模块;
  • 语音合成方向学术研究、模型二次微调、算法对比实验。

底层核心技术

  • 架构:时间主干网络搭配**多令牌预测(Multi‑Token Prediction)**模块,基于16个码本做语音码建模;
  • 后训练:GRPO分组奖励优化,结合字符错误率CER做局部反馈约束,提升语音自然度和文本正确性;
  • 结合语音编解码器(speech codec),把文本先映射离散语音码,再解码输出音频波形,实现端到端TTS生成。

说明:50M为语言模型部分参数,不包含语音编解码器权重。