国内首个开源千亿参数MoE大模型来了，对标马斯克的Grok

马斯克宣布开源大模型Grok后，国内也将迎来首个开源的千亿参数MoE（混合专家）大模型。近日，「国内独角兽企业APUS（麒麟合盛）联合新旦智能训练的大模型APUS-xDAN 大模型4.0（MoE）将于近日宣布开源。

据了解，APUS-xDAN 大模型4.0（MoE）是国内首个千亿以上参数MoE架构的开源大模型，参数规模为1360亿，这也是目前国内参数规模最大的开源模型。此前国内开源的大模型中，参数规模最大的是阿里720亿参数的千问72B，参数规模为720亿。

此外，APUS-xDAN 大模型4.0（MoE）还是国内首个支持在4090低端算力上训练的千亿参数开源大模型，通过MoE架构和算法优化实现了对低端算力芯片的适配。

“马斯克的Grok至少要8张H100才能运行，大部分中小企业其实没有那么多资源，而4090是一个消费级显卡，成本比较低，在国内也更容易获得，大部分企业和机构都能用来训练。”APUS董事长兼CEO李涛表示。

据《参考消息》报道，美国方面修订了五个月前出台的相关规定，旨在使中国更难进口美国的高端人工智能芯片。

针对这一现状，李涛和新旦智能创始人成一鹏均提到，对低端算力的支持，是这次APUS-xDAN大模型4.0（MoE）的最大突破，能够很大程度上应对算力卡脖子问题。

这次开源的APUS-xDAN大模型4.0（MoE）背后，站着两家企业，分别是成立十年的独角兽企业APUS和一家初创人工智能企业新旦智能，模型由双方共同训练，并且APUS投资了新旦智能。

资料显示，APUS是一家成立于2014年的人工智能企业，由360前副总裁李涛于2014年创办，2022年之前主要做出海业务。

2022年底开始，APUS正式转型人工智能和大模型，2023年4月，APUS正式发布了APUS通用大模型，据披露，目前APUS的大模型团队超过百人。李涛还提到，目前开源的APUS-xDAN大模型4.0（MoE）的综合性能已经可以实现GPT-4 的90%。

作为一家人工智能企业，李涛提到，APUS大模型的另一个优势是算法语料比较多元化，国内大模型玩家很多都依赖于中文语料进行训练，对于其他语言的算法语料覆盖远远不足。而APUS的产品和服务目前已经覆盖了全球200多个国家，用户数量达到24亿+，算法语料更加多元。

李涛表示，APUS目前为止是国内大模型行业商业化最好的企业之一，已经落地医疗、电商、网信大模型，除了To C领域以外，在ToG和ToB领域探索了多样化的应用场景。

而新旦智能目前成立不到一年时间，由成一鹏创立于2023年5月，成立后不久，就分别用7B、30B模型在大模型榜单MT-Bench上登顶TOP1。2024年3月初，新旦智能宣布完成千万级别天使轮融资，背后的投资方就是APUS和AI行业投资人周弘扬。

据新旦智能创始人成一鹏介绍，目前新旦智能的团队规模为十余人，由一群来自清华、伯克利、腾讯、Meta等机构和企业的工程师组成，成员包括全球顶尖的开源AI社区知名开发者Wing （目前全球最受欢迎的AI训练系统作者）, 以及开源社区最受欢迎的AI数据组织Founder Austin。

据成一鹏介绍，新旦智能的多模态智能体在LLM领域已经完成了对GPT3.5 Turbo的超越，很多指标和GPT4只有不到10%的差距，例如MMLU（74.7%）比较通用的推理分析指标， GSM 8K 数学指标（82.5%），差距大概只有 9%。然后在部分领域，他们已经超过了GPT4，例如智能体的这个拟人性指标（MT bench ）已经超越GPT 4 约 3% 。

“可以简单理解为，我们现在拥有一个智商上正在逼近GPT4，同时情商还很高的大脑装配在了自己的智能体上。”成一鹏表示。

这次开源的APUS-xDAN大模型4.0（MoE）另一个突破点，是填补了国内千亿大模型在开源领域的空白，目前国内千亿规模以上的大模型基本都不开源，包括百度的文心一言、华为的盘古大模型等。而参数规模是衡量模型复杂度的重要指标，更大的参数往往可以让大模型在处理复杂任务时表现更好，具有更高的准确性和泛化能力。