ITCOW牛新网 3月28日消息，AI领域初创公司Databricks近日宣布，他们已成功开发出名为DBRX的开源大型语言模型。据称，DBRX在性能上已超越了Meta所推出的Llama 2，号称迄今为止全球最强大的开源AI模型。
DBRX的创新之处在于其采用了高效的Transformer架构，并集成了惊人的1320亿参数。更值得一提的是，该模型是由16个专家网络所组成，但在每次推理时，仅激活其中的4个专家网络，从而有效地激活了360亿参数。
为了验证DBRX的优越性，Databricks在多个维度上与其他主流开源模型进行了对比测试。结果显示，在语言理解、编程、数学和逻辑等方面，DBRX均展现出了明显的优势。具体来说，在语言理解方面，DBRX的得分率高达73.7%，不仅超过了GPT-3.5的70.0%，还领先于Llama 2-70B的69.8%、Mixtral的71.4%以及马斯克旗下xAI开发的Grok-1的73.0%。在编程能力上，DBRX更是以70.1%的得分率遥遥领先，远超GPT-3.5的48.1%，同时也高于其他竞争对手。而在数学方面的测试中，DBRX同样表现出色，得分率为66.9%，高于其他所有参与比较的模型。
Databricks在介绍DBRX时强调，这是一个基于MegaBlocks研究和开源项目构建的混合专家模型（MoE）。这种设计使得DBRX在每秒输出token的速度上达到了较高的水平，为未来最先进的开源模型的发展奠定了坚实的基础。