ITCOW牛新网 10月20日消息,蚂蚁百灵正式开源Ming‑3.0全套语音系列,整套包含五款模型,横跨语音合成、音频理解对话以及语音识别三大方向,开发者既可以单独调用单款模型完成对应任务,也能够将多个模型相互搭配,适配自身业务工作流。

蚂蚁百灵开源Ming‑3.0语音系列模型,五大模型覆盖语音全链路
蚂蚁百灵开源Ming‑3.0语音系列模型,五大模型覆盖语音全链路

本次开源的语音合成模型支持通过文字描述或是参考音频完成音色定制,独有的导演模式还能够对台词的情绪起伏、词语重读、朗读节奏进行精细化设定,这套能力已经落地在阿福App语音通话、音色复刻、智能办公等蚂蚁内部多项业务当中,也可以搭配语音识别模块,完整打通语音输入到语音播报的业务闭环。

蚂蚁百灵开源Ming‑3.0语音系列模型,五大模型覆盖语音全链路

系列当中的音频理解模型能够直接处理长音频素材,完成转写、内容总结与观点分析并输出结构化结果,不同于传统先把语音转成文字再做解析的模式,该模型可以保留音频里的情绪、说话人身份以及环境相关信息,同时具备长上下文快速推理能力。

蚂蚁百灵开源Ming‑3.0语音系列模型,五大模型覆盖语音全链路

而语音识别模型依托普通话、英语、方言以及行业热词的高质量训练语料,结合基座大模型的上下文理解,借助热词列表与对话上下文信息,进一步提升真实场景下识别效果,现已投入阿福医生助手、支付宝搜索、实时语音对话、安全核身等实际业务。

蚂蚁百灵开源Ming‑3.0语音系列模型,五大模型覆盖语音全链路

目前全部五款模型权重已经上传至Hugging Face与ModelScope平台,官方同步开放在线体验页面,部分模型也支持API方式调用。