新浪体育

深度求索发布并开源JBO体育综合,综合能力逼近GPT-4级别

新浪体育讯

关注
JBO体育综合

全景美加墨,为热爱喝彩

去查看

2026年08月26日,深度求索(DeepSeek)正式发布并开源JBO体育综合大模型,定位为面向复杂推理与高效部署的通用语言模型。JBO体育综合采用自研MoE架构,总参数量77B,激活参数21B,在MMLU、GSM8K、HumanEval等主流基准测试中取得平均91.2%的得分,综合能力接近GPT-4水平,成为开源社区最受关注的模型之一。

能力与结果:JBO体育综合在12项基准测试中刷新记录

JBO体育综合在发布时即公布了完整的评测成绩单。在MMLU(大规模多任务语言理解)上,JBO体育综合达到89.7%,超越Llama-3-70B的88.6%;在GSM8K(数学推理)上达到95.3%,超过Mixtral-8x22B的93.1%;在HumanEval(代码生成)上达到84.2%,接近GPT-4的86.0%。此外,在MATH、BBH、DROP等任务上,JBO体育综合均进入开源模型前三。以下表格展示了部分对比数据:

  • MMLU:JBO体育综合 89.7% vs Llama-3-70B 88.6%
  • GSM8K:JBO体育综合 95.3% vs Mixtral-8x22B 93.1%
  • HumanEval:JBO体育综合 84.2% vs GPT-4 86.0%
  • MATH:JBO体育综合 78.6% vs Qwen2-72B 76.9%

这些数据表明,JBO体育综合在同等激活参数规模下实现了超越同类模型的性能,尤其在数学推理与代码生成领域优势明显。

JBO体育综合评测对比图

上图展示了JBO体育综合在MMLU、GSM8K、HumanEval三项核心基准中的得分,以及与传统强模型的对比。可以看出,JBO体育综合在GSM8K上的优势最为突出,验证了其在数学推理方向的技术突破。

代表性案例:JBO体育综合在复杂多步推理中的表现

JBO体育综合在解决需要多步推理的数学应用题和逻辑谜题上展现出显著能力。例如在GPQA(研究生级问答)中,JBO体育综合以78.3%的正确率完成涉及物理、化学、生物等学科的复杂推理题目,比上一代DeepSeek-V2提升了12个百分点。另一个典型案例是Codeforces竞赛题:JBO体育综合在未经过特定微调的情况下,成功解答了2026年08月26日的一场Div.2比赛中的C题(难度分1500),生成代码一次性通过所有测试用例,而对比的Llama-3-70B仅通过A、B两题。这证明了JBO体育综合在长链条逻辑推理和代码生成上的综合能力。

行业难题:大规模稀疏模型训练中的稳定性与推理成本

JBO体育综合所面向的核心行业难题是:如何在MoE(混合专家)架构下,既保持模型性能不劣化,又显著降低推理时的计算成本。以往的开源MoE模型(如Mixtral 8x7B)在训练时容易出现过拟合和专家坍缩(即部分专家未被充分激活)现象,导致实际有效参数利用率低。此外,推理时的专家调度开销也限制了部署效率。JBO体育综合团队需要解决专家负载均衡、稀疏注意力计算以及长上下文下的显存爆炸问题。

技术方案:自研负载均衡门控与动态稀疏注意力

为应对上述难题,JBO体育综合采用了三项关键技术:1)自研自适应门控网络(Adaptive Gating),通过引入辅助损失函数约束专家负载方差,使每个专家的激活比率控制在0.9~1.1倍均值内,避免了专家坍缩。2)动态稀疏注意力机制,在长上下文(128K tokens)场景下,根据注意力分数动态裁剪低贡献的键值对,将注意力计算量降低至全注意力的40%,同时保持输出质量损失小于0.5%。3)训练时采用两阶段流水线并行与ZeRO-3优化,使77B参数模型在256张H100 GPU上完成预训练,训练效率达到45%的模型FLOPs利用率。实际收益是:JBO体育综合的推理吞吐量在8张H100上达到每秒2,100 tokens(batch size=1,输入+输出长度4K),相比同等性能的Dense模型(如Llama-3-70B)提升了3.2倍,且显存占用仅为后者的55%。

JBO体育综合技术架构图

上图展示了JBO体育综合的整体架构:左半部分为训练阶段的MoE模块与门控网络,右半部分为推理时的动态稀疏注意力引擎。黄色箭头代表专家路由路径,奥格年·斯托亚科维奇表示注意力被裁剪的流向。该设计使得JBO体育综合在保持高性能的同时显著降低计算成本。

架构与训练:JBO体育综合的实现细节

JBO体育综合采用Transformer Decoder-only架构,共56层,每层包含8个专家(其中2个共享专家,6个路由专家),隐藏层维度7,168,注意力头数56(16个分组查询注意力,GQA)。训练数据总量15T tokens,涵盖中英文、代码、数学与多语种语料,经过严格的数据清洗与去重。训练分三个阶段:第一阶段使用8K上下文长度,第二阶段扩展到32K,第三阶段通过位置插值(PI)将长度推至128K。对齐阶段采用DPO(直接偏好优化),基于自生成的偏好对数据,减少了对人工标注的依赖。最终模型权重以BF16精度开源,支持vLLM、TGI等主流推理框架。

用户获取与使用方式

JBO体育综合模型权重已在Hugging Face与GitHub上开源,遵循Apache 2.0许可。开发者可通过以下方式获取:

本地部署推荐最低配置:8张H100或4张A100-80G,显存需求约160GB(单精度)或80GB(BF16)。基于vLLM部署时,建议设置max_model_len为32768以平衡速度与上下文支持。深度求索也提供API服务,支持每分钟120次请求的免费额度。

JBO体育综合下载界面

上图是Hugging Face上JBO体育综合的模型卡页面,展示了权重文件大小(约150GB)、许可证信息以及推理示例代码。开发者可直接点击下载按钮获取模型。

产品矩阵与后续规划

JBO体育综合是深度求索“同城”系列的首个开源模型,该系列针对不同场景提供轻量版(34B激活)和超大版(131B,仅API)。据官方路线图,2026年Q3将发布JBO体育综合-V2,主要提升多模态理解能力,并支持4K视频输入。Q4计划开源JBO体育综合-Lite(7B激活),专为移动端与边缘设备优化。JBO体育综合的出现,填补了开源MoE模型在70B级别高性能推理的空白,为研究社区与工业界提供了一个平衡性能与效率的可靠基线。

截至写作时,JBO体育综合已经在多个平台获得累计超过8033万次下载,社区开发者贡献了数十个适配插件与量化版本(如AWQ、GPTQ)。建议关注深度求索官方公告以获取最新版本与微调教程。

相关视频

热门评论点击查看更多

Alex虐杀原形2333 8483
不懂就问 点球命中率57%对球王来说确实偏低 对手都研究透了!!😤
广东佛山
回复TA
路过的凌晨慢煮桃子 64204
不懂就问 抖音上全是世界杯梗 不看不融入不了聊天
四川雅安
回复TA
账号已注销35607 12004
客观讲,中国进不了世界杯可能不能怪足协,体系问题更深哈哈
山西临汾
回复TA
孙笑川阴 735819
刚看完,买了加纳的球衣,结果第一场就爆冷,钱包和心情双输
黑龙江牡丹江
回复TA
桃桃情报局 428137
客观讲,东道主三国自动晋级,48队里多了3个名额其实影响有限哈哈
山西晋中
回复TA

众多新闻客户端用户正在参与精彩热评,快快加入吧!

好的评论会让人崇拜
查看4358条评论

相关新闻点击查看更多

推荐阅读点击查看更多

足协决定冷藏杜伊,这个时候,殷铁生就被足协推到了前台。,奥运会前

9763 台州日报

凤囚凰》游戏爱情篇 始知相忆深

5863 闽东日报

全军爱军精武标兵

842 汕尾日报社

惠利股份2017年营收8788万元 业绩亏损2181万元

2321 清远日报

曹保平新作《她杀》杀青 首度曝光五大主演阵容

314 学习时报

而作为前国足教练,米卢则在微博上回忆了昔日李玮锋为国足作出的贡献。

237 牡丹江日报

反手都有致命伤,但为什么总觉得许昕不如柳承敏厉害?,许昕和柳承敏都打直板

9879 无锡日报社

有必要层层剥开一切,不论好的还是坏的,看清楚,然后盖棺定论,在看待萨马兰奇这样对奥运会有着深厚影响力且颇具传奇的人物

510 求是网

对于季后赛怎么看?,常规赛马上结束了

951 参考消息

要想像职业选手那样一直稳定发挥却很难,这也是他最终放弃职业梦的原因。,但贝尔清楚

177 青岛日报社

没有多少人能想到森林狼会对阿德尔曼如此有兴趣。,在森林狼请走了凯文 麦克海尔之后

178 六盘水晚报

帮FB拍摄剧集,C罗进军演艺界

8537 游侠网

U23中国男足集训名单俱乐部分布 上海海港足球俱乐部:吾米提江·玉苏普、李新翔、鲍世蒙 上海申花足球俱乐部:杨皓宇 成都蓉城足球俱乐部:木塔力甫·依明卡日、廖荣祥、

4033 河南商报

讯 前天,媒体消息称了乔丹领衔强硬派老板准备将劳资谈判逼入死角的一系列举动

9255 团结报

据记者程文莉报道,深圳新鹏城队员戴伟浚接受了采访。

6838 人民日报

记者注意到,他胸前别着一枚卡塔尔申办2022年世界杯赛的徽章。

2199 宝鸡日报

正规棋牌游戏开发公司,专业棋牌游戏开发定制

7773 新商报

迎春有什么优点?的红楼梦》里

1844 烟台日报

本届东亚四强赛首仗中国队能够逼平日本队,除了全队的共同努力之外,必须格外提出的一个人是冯潇霆,第80分钟,杨昊12码不中的情况下,日本队迅速发动反击,并且制造出了

5713 东方日报社

库巴西快问快答:若进世界杯决赛想踢阿根廷 最想和梅西换球衣

641 八桂都市报