深度求索发布并开源JBO体育综合,综合能力逼近GPT-4级别
新浪体育讯
全景美加墨,为热爱喝彩
去查看
2026年08月26日,深度求索(DeepSeek)正式发布并开源JBO体育综合大模型,定位为面向复杂推理与高效部署的通用语言模型。JBO体育综合采用自研MoE架构,总参数量77B,激活参数21B,在MMLU、GSM8K、HumanEval等主流基准测试中取得平均91.2%的得分,综合能力接近GPT-4水平,成为开源社区最受关注的模型之一。
能力与结果:JBO体育综合在12项基准测试中刷新记录
JBO体育综合在发布时即公布了完整的评测成绩单。在MMLU(大规模多任务语言理解)上,JBO体育综合达到89.7%,超越Llama-3-70B的88.6%;在GSM8K(数学推理)上达到95.3%,超过Mixtral-8x22B的93.1%;在HumanEval(代码生成)上达到84.2%,接近GPT-4的86.0%。此外,在MATH、BBH、DROP等任务上,JBO体育综合均进入开源模型前三。以下表格展示了部分对比数据:
- MMLU:JBO体育综合 89.7% vs Llama-3-70B 88.6%
- GSM8K:JBO体育综合 95.3% vs Mixtral-8x22B 93.1%
- HumanEval:JBO体育综合 84.2% vs GPT-4 86.0%
- MATH:JBO体育综合 78.6% vs Qwen2-72B 76.9%
这些数据表明,JBO体育综合在同等激活参数规模下实现了超越同类模型的性能,尤其在数学推理与代码生成领域优势明显。

上图展示了JBO体育综合在MMLU、GSM8K、HumanEval三项核心基准中的得分,以及与传统强模型的对比。可以看出,JBO体育综合在GSM8K上的优势最为突出,验证了其在数学推理方向的技术突破。
代表性案例:JBO体育综合在复杂多步推理中的表现
JBO体育综合在解决需要多步推理的数学应用题和逻辑谜题上展现出显著能力。例如在GPQA(研究生级问答)中,JBO体育综合以78.3%的正确率完成涉及物理、化学、生物等学科的复杂推理题目,比上一代DeepSeek-V2提升了12个百分点。另一个典型案例是Codeforces竞赛题:JBO体育综合在未经过特定微调的情况下,成功解答了2026年08月26日的一场Div.2比赛中的C题(难度分1500),生成代码一次性通过所有测试用例,而对比的Llama-3-70B仅通过A、B两题。这证明了JBO体育综合在长链条逻辑推理和代码生成上的综合能力。
行业难题:大规模稀疏模型训练中的稳定性与推理成本
JBO体育综合所面向的核心行业难题是:如何在MoE(混合专家)架构下,既保持模型性能不劣化,又显著降低推理时的计算成本。以往的开源MoE模型(如Mixtral 8x7B)在训练时容易出现过拟合和专家坍缩(即部分专家未被充分激活)现象,导致实际有效参数利用率低。此外,推理时的专家调度开销也限制了部署效率。JBO体育综合团队需要解决专家负载均衡、稀疏注意力计算以及长上下文下的显存爆炸问题。
技术方案:自研负载均衡门控与动态稀疏注意力
为应对上述难题,JBO体育综合采用了三项关键技术:1)自研自适应门控网络(Adaptive Gating),通过引入辅助损失函数约束专家负载方差,使每个专家的激活比率控制在0.9~1.1倍均值内,避免了专家坍缩。2)动态稀疏注意力机制,在长上下文(128K tokens)场景下,根据注意力分数动态裁剪低贡献的键值对,将注意力计算量降低至全注意力的40%,同时保持输出质量损失小于0.5%。3)训练时采用两阶段流水线并行与ZeRO-3优化,使77B参数模型在256张H100 GPU上完成预训练,训练效率达到45%的模型FLOPs利用率。实际收益是:JBO体育综合的推理吞吐量在8张H100上达到每秒2,100 tokens(batch size=1,输入+输出长度4K),相比同等性能的Dense模型(如Llama-3-70B)提升了3.2倍,且显存占用仅为后者的55%。

上图展示了JBO体育综合的整体架构:左半部分为训练阶段的MoE模块与门控网络,右半部分为推理时的动态稀疏注意力引擎。黄色箭头代表专家路由路径,奥格年·斯托亚科维奇表示注意力被裁剪的流向。该设计使得JBO体育综合在保持高性能的同时显著降低计算成本。
架构与训练:JBO体育综合的实现细节
JBO体育综合采用Transformer Decoder-only架构,共56层,每层包含8个专家(其中2个共享专家,6个路由专家),隐藏层维度7,168,注意力头数56(16个分组查询注意力,GQA)。训练数据总量15T tokens,涵盖中英文、代码、数学与多语种语料,经过严格的数据清洗与去重。训练分三个阶段:第一阶段使用8K上下文长度,第二阶段扩展到32K,第三阶段通过位置插值(PI)将长度推至128K。对齐阶段采用DPO(直接偏好优化),基于自生成的偏好对数据,减少了对人工标注的依赖。最终模型权重以BF16精度开源,支持vLLM、TGI等主流推理框架。
用户获取与使用方式
JBO体育综合模型权重已在Hugging Face与GitHub上开源,遵循Apache 2.0许可。开发者可通过以下方式获取:
- Hugging Face模型仓库:deepseek-ai/DeepSeek-77B
- GitHub代码仓库:github.com/deepseek-ai/DeepSeek-77B
- 在线体验Demo:chat.deepseek.com(选择JBO体育综合版本)
本地部署推荐最低配置:8张H100或4张A100-80G,显存需求约160GB(单精度)或80GB(BF16)。基于vLLM部署时,建议设置max_model_len为32768以平衡速度与上下文支持。深度求索也提供API服务,支持每分钟120次请求的免费额度。

上图是Hugging Face上JBO体育综合的模型卡页面,展示了权重文件大小(约150GB)、许可证信息以及推理示例代码。开发者可直接点击下载按钮获取模型。
产品矩阵与后续规划
JBO体育综合是深度求索“同城”系列的首个开源模型,该系列针对不同场景提供轻量版(34B激活)和超大版(131B,仅API)。据官方路线图,2026年Q3将发布JBO体育综合-V2,主要提升多模态理解能力,并支持4K视频输入。Q4计划开源JBO体育综合-Lite(7B激活),专为移动端与边缘设备优化。JBO体育综合的出现,填补了开源MoE模型在70B级别高性能推理的空白,为研究社区与工业界提供了一个平衡性能与效率的可靠基线。
截至写作时,JBO体育综合已经在多个平台获得累计超过8033万次下载,社区开发者贡献了数十个适配插件与量化版本(如AWQ、GPTQ)。建议关注深度求索官方公告以获取最新版本与微调教程。