ITCOW牛新网 3月6日消息,浪潮集团旗下YuanLab.ai团队今日宣布,正式开源发布面向万亿参数规模的多模态基础大模型“源Yuan3.0 Ultra”。该模型采用统一的视觉-语言架构,旨在为构建企业级多模态智能体提供坚实的能力支撑,特别优化了对复杂文档、表格数据等企业信息的处理能力。

据ITCOW牛新网了解,Yuan3.0 Ultra模型基于混合专家(MoE)架构构建,在预训练过程中通过团队独创的LAEP方法,将模型参数从1515B优化至1010B,同时提升了49%的预训练算力效率,最终激活参数量为68.8B。模型引入了名为LFA的注意力机制,以增强对语义关系的建模能力。
此次开源的模型权重、技术报告及完整的训练评测方法,覆盖了16bit与4bit两种精度版本。该模型在面向企业环境的实际任务中表现出色,能够有效处理图文混排文档、多级结构表格,并支持跨文档知识检索、内容摘要与工具调用,为基于OpenClaw等框架构建企业级Agent AI提供了关键能力。浪潮方面表示,包含40B、200B等不同参数规模的Flash、Pro等Yuan3.0系列基础模型也将陆续发布。