ITCOW牛新网 7月28日消息,月之暗面(Moonshot AI)昨晚正式向开源社区投下重磅炸弹——Kimi K3 模型权重、技术报告以及支撑其训练的三项关键 Infra 技术 MoonEP、FlashKDA、AgentEnv 同步放出。这款模型以 2.8 万亿参数规模,成为迄今为止首个摸到该量级的开源大模型,把过去一年里 Kimi 系列九个月守住的“开源模型规模上限”再往上顶了一截。

月之暗面开源 Kimi K3

据ITCOW牛新网了解,Kimi K3 的骨架建立在 KDA 混合线性注意力机制(Kimi Delta Attention)与注意力残差技术之上,原生带视觉理解能力,上下文窗口直接给到 100 万 token。MoE 稀疏度被进一步拉大,配合 Stable Latent MoE 框架,在 896 个专家里只高效激活 16 个,加上训练方法与数据配方的迭代,整体扩展效率比上代 K2 提约 2.5 倍,把算力转化率的账算得更精。长程编码是这套架构的强项:极少人工监督下能持续跑完长时间工程任务,啃下大型代码库并与终端工具协同;在前端、CAD、游戏开发里借截图和视觉反馈做闭环优化,把软件工程与视觉推理缝在一起。官方坦承 K3 整体仍落后闭源顶流 Claude Fable 5 与 GPT-5.6 Sol,但稳超其余所有模型、处前沿水位。

月之暗面开源 Kimi K3

Infra 侧随权重一起公开的 MoonEP 与 AgentEnv 是首次开源,前者管高性能通信、后者管分布式强化学习环境,FlashKDA 高性能算子则此前已放出。三项技术覆盖从通信、算子到 RL 环境的训练全链路,等于把“怎么把 2.8 万亿参数训出来”的工程底稿也交了出去。随着 Hugging Face(https://huggingface.co/moonshotai/Kimi-K3 )与 GitHub(https://github.com/MoonshotAI/Kimi-K3 )双平台镜像就位,国产大模型在“闭源冲榜、开源交生态”的双轨策略上,又立起一块重量级路标。

月之暗面开源 Kimi K3

月之暗面开源 Kimi K3