10月12日消息,在中国移动全球合作伙伴大会举行期间,中兴通讯推出了”星云研发大模型”,旨在协助开发人员进行需求分析、产品设计、编程、测试、版本部署等工作。

10月12日消息,在中国移动全球合作伙伴大会举行期间,中兴通讯推出了"星云研发大模型"

据中兴通讯介绍,”星云研发大模型”支持白名单机制,以有效控制使用范围。此外,它还具备代码特征值识别功能,可用于有效识别敏感代码片段,同时具备敏感词识别机制,可实时监测和拦截敏感内容。另外,该模型还具备后台审计机制,可以完整回溯安全事件。

中兴通讯表示,”星云研发大模型”自2023年4月启用以来,已经取得了令人瞩目的成绩,日活人数达到1.2万人,代码采纳率达到40%到45%,编码效率提高了30%,整体研发效率提高了10%。

该公司在官方公告中指出,”星云研发大模型”的创建过程中注入了领域数据、Know-How知识积累、数十万篇通信领域技术文档和1000亿个token的无线/核心网/云代码语料。这些数据用于增量预训练,使用了并行训练框架。

中兴通讯称:”自研部署方案使用了动态batch策略和PagedAttention技术,结合了无损模型量化,大幅提升了吞吐量。单个GPU(A800)的吞吐量达到1500 tokens/s,仅使用4张GPU卡(A800)就可以满足超过千人的使用需求。与传统部署方案相比,单个GPU吞吐量分别提高了10倍以上和20倍以上。此外,结合了int4量化技术,模型精度没有下降的情况下,模型大小和显存使用量都减少了一半。”

这一创新将有望在软件开发领域提高效率,同时也有望在人工智能和大数据应用中发挥重要作用。