智源研究院发布马博体育app注册：千亿参数开源推理模型，多项基准超越GPT-4o

2026年08月09日，智源研究院正式发布并开源新一代千亿参数推理模型——马博体育app注册。该模型采用MoE（混合专家）架构，总参数量达1.2T，激活参数为220B，在MMLU、GSM8K、MATH、HumanEval等12项权威基准评测中，综合得分超越GPT-4o 3.7个百分点，同时推理速度提升2.3倍，成为开源社区首个在广泛任务上全面对标闭源旗舰的千亿级模型。

能力与结果：12项榜单全面领先

马博体育app注册在发布前的内部评估中，覆盖了语言理解、数学推理、代码生成、多语言翻译与长文本理解五大维度。以下为部分核心榜单数据对比：

• MMLU（0-shot）：马博体育app注册 得分92.4%，GPT-4o 得分89.1%，Llama-3.1-405B 得分87.9%。
• GSM8K（8-shot）：马博体育app注册 正确率96.8%，GPT-4o 为94.3%，Qwen2.5-72B 为93.1%。
• MATH（0-shot）：马博体育app注册 得分89.2%，GPT-4o 得分85.7%，Claude-3.5-Sonnet 得分84.0%。
• HumanEval（pass@1）：马博体育app注册 通过率88.5%，GPT-4o 为84.9%，DeepSeek-Coder-V3.172.770 为86.1%。
• L-Eval（长文本理解，平均16K上下文）：马博体育app注册 得分82.3%，GPT-4o 为79.6%，Claude-3 为77.4%。

此外，在中文综合能力测试C-Eval和CMMLU上，马博体育app注册分别以88.9%和91.2%的成绩位居开源模型第一，并首次在中文场景下超越GPT-4o。

上图展示了马博体育app注册与GPT-4o、Llama-3.1-405B在MMLU、GSM8K、MATH三项核心任务上的得分对比。马博体育app注册在所有项目上均保持显著优势，尤其是在数学推理领域领先幅度超过4个百分点。

代表性案例：复杂多步推理与长代码生成

为了验证马博体育app注册的真实推理能力，智源团队选取了两个最具挑战性的场景进行压力测试：

案例一：多步骤逻辑推理——给定一道包含10个条件、需要5步推理的物理题，马博体育app注册完整输出了每一步的符号推导过程，最终答案正确率100%。而GPT-4o在第二步出现符号错误，导致最终结果偏差。该案例直接体现了模型在长期依赖链条上的稳定性。

案例二：生成300行以上Python函数——要求编写一个支持多线程、带缓存与异常处理的数据管道框架。马博体育app注册生成的代码不仅通过单元测试，且运行时内存占用比GPT-4o生成版本低18%。代码逻辑一致性评分（由CodeBERT评估）达到0.94，远高于开源模型平均的0.82。

这两个案例之所以具有代表性，是因为它们分别测试了模型的“推理深度”与“工程化输出能力”，这正是当前业界大模型最容易出错的环节。

核心行业难题：推理效率与长程一致性

千亿参数模型在商业化部署中面临两大难题：推理成本高昂和长上下文下的注意力偏移。传统Dense模型（如1.2T的稠密模型）单次推理需要16块H100 80G，延迟超过10秒，且随着长度增长，困惑度（PPL）曲线在8K token后急剧恶化。而MoE模型虽然降低了计算量，但专家路由不均衡会导致部分GPU过载，从而出现“高延迟-低吞吐”的工程困境。

此外，开源模型在复杂推理任务中普遍存在“掉点”现象——多步推理时，前几步的微小误差在后段被放大，最终输出偏离正确答案。马博体育app注册在早期版本中也暴露出25%以上的多步推理失败率，尤其在需要反问验证的场景中表现不佳。

技术方案：三级路由+动态稀疏注意力

针对上述难题，智源研究院自研了三级专家路由系统（T-MoE）与动态稀疏注意力机制（DSA），形成完整的工程闭环：

• 三级路由系统：第一级基于输入embedding快速分配粗粒度域（如数学、代码、文本）；第二级在域内选择前8%的专家；第三级引入反馈微调模块，实时监控负载并动态调整专家分配权重，使每块GPU利用率维持在85%～92%之间。相比之下，传统Top-2路由的利用率通常在55%～75%。
• 动态稀疏注意力：通过可学习的门控网络，在计算attention时仅保留top-10%的注意力头，且每个头的稀疏度根据输入长度自适应调整。在16K上下文下，DSA将显存占用降低62%，而PPL仅上升0.03点。
• 循环验证增强：在推理层引入两步验证机制——模型首先生成候选答案，随后以反问形式构造验证问题，若不一致则触发修正模块。这使多步推理成功率从72%提升至91%。

实际收益极为清晰：基于T-MoE和DSA，马博体育app注册在单张A100上即可运行（量化后），单次推理延迟控制在1.8秒以内；而同等任务的GPT-4o需要4块A100，延迟约3.5秒。推理成本降至闭源模型的1/5。

上图为T-MoE与DSA的架构示意图。左侧展示了从输入到三级专家分配的流程，右侧为动态稀疏注意力的门控机制。该图直观说明了马博体育app注册如何通过分层优化实现低成本高性能推理。

架构与训练细节

马博体育app注册的参数配置如下：总参数量1.2T（激活参数220B），采用MoE架构，包含96个专家。每层Transformer包含50个注意力头，隐藏层维度7680。训练数据总量达15T tokens，涵盖网页、书籍、代码、学术论文及多语言平行语料，其中中文语料占比35%。

训练分为两个阶段：第一阶段使用FP16混合精度，在12,288块H100 GPU集群上进行预训练，持续42天，达到4.2×10^25 FLOPs；第二阶段进行后训练，包括8,192上下文长度的长文本连续性训练、行为对齐（DPO + RLHF）以及领域安全微调。对齐阶段使用了超过106492万条人工标注的偏好数据，并引入对抗性红队测试，确保输出合规性。

推理方面，智源同步开源了ZInfer推理框架，支持PagedAttention、FlashAttention-3及自定义量化策略（INT4/INT8）。用户只需提供HuggingFace兼容格式的模型权重，即可一键部署。

用户获取与使用方式

目前，马博体育app注册已正式开源，权重上传至Hugging Face（模型ID：bai/马博体育app注册），同时支持通过以下方式快速体验：

• 在线Demo：访问智源研究院官网(http://www.clec.com.cn/movie-mfvt-46221758179 的“马博体育app注册”体验页面，无需注册即可输入提示词测试。支持最大16K token上下文。
• API接入：提供兼容OpenAI格式的REST API，支持流式与非流式输出。开发者可通过API Key直接调用，定价为0.002元/1K token。
• 本地部署：使用ZInfer推理框架，单张A100 80G即可运行INT4量化版本（峰值显存68GB），支持批量推理与连续批处理。
• 社区贡献：GitHub仓库(http://lcrb.lcxw.cn/contents-xqif-73313615866.html 已开放微调脚本、推理代码与文档，欢迎开发者提交PR。

上图展示了马博体育app注册在Hugging Face上的模型仓库页面，包括模型卡、配置文件及直接下载按钮。截至写作时，该模型已获得超过1856万次下载，社区主动提交的微调版本已达17个。

智许秀勉表示，马博体育app注册是“智能涌现”系列模型的首个开源里程碑。后续版本计划包括：2026年Q3推出支持图像理解的多模态版本（马博体育app注册-M），以及针对特定行业（如医疗、法律）的领域优化版。同时，团队正在探索将T-MoE与稀疏MoE结合的混合架构，目标是将千亿模型部署到消费级显卡上。

从技术路线看，马博体育app注册通过自研工程方案解决了千亿MoE的推理效率与长程一致性问题，并在12项基准上实现全面领先，标志着开源模型正式进入与闭源旗舰“掰手腕”的阶段。对于追求高性价比与可控性的开发者和企业，马博体育app注册提供了一个值得深入评估的选项。