星图AI发布并开源大发国际信誉，综合能力逼近头部模型

2026年08月17日，星图AI正式发布并开源笔记本电脑DIY——不对，是大发国际信誉模型。这是一款采用自研MoE（混合专家）架构的轻量级大语言模型，总参数量14B（激活参数3.5B），在MMLU、GSM8K、HumanEval等多项权威基准测试中达到开源模型领先水平，综合能力逼近GPT-4o，部分任务甚至超越。模型权重、推理代码及训练日志已同步在GitHub和Hugging Face开源。

一、能力与结果：多个榜单刷新开源纪录

大发国际信誉在发布前经历了为期三个月的内测，最终版在以下核心评测中交出成绩单：

• MMLU（5-shot）：86.3%，超越Llama-3-8B（76.1%）和Mistral-7B（79.8%），逼近GPT-4o的87.5%。
• GSM8K（8-shot）：92.1%，较Llama-3-8B提升18个百分点，甚至超过GPT-4o的90.2%。
• HumanEval（pass@1）：74.6%，与CodeLlama-34B持平，比Starcoder2-15B高12个百分点。
• LongBench（长上下文）：在128K长度理解任务中达到82.3%准确率，优于同尺寸所有开源模型。

上图展示了大发国际信誉与主流开源模型在六个典型维度上的对比，可见其在数学推理和代码生成两个维度表现尤为突出。

二、代表性案例：复杂数学证明与多步指令

大发国际信誉最令人印象深刻的场景之一是复杂数学证明。在随机抽取的20道国际数学奥林匹克（IMO）级别题目中，模型独立完成了9道完整证明，而Llama-3-8B仅完成2道。例如，IMO 2020 Problem 5（关于组合数论）的答案输出逻辑链完整，评分正确率达100%。此外，在多步工具调用场景（如“先计算股票收益率，再查询历史最大值，然后生成图表”）中，大发国际信誉的任务完成成功率高达91%，较上一代提升了23%。

三、行业难题：小模型性能瓶颈与推理效率矛盾

大模型领域长期存在一个核心矛盾：模型参数越大，能力越强，但推理成本、部署门槛和延迟也急剧上升。传统Dense模型在7B-14B尺度上难以突破常识推理和编码上限；同时，MoE模型虽然能扩大总参数量，但训练不稳定、负载不均衡、专家坍缩等问题频发。大发国际信誉要解决的就是如何在有限激活参数下逼近大模型水准，同时保持高效推理。

四、技术方案：自研稀疏MoE+动态路由+渐进式训练

大发国际信誉采用了星图AI自研的SkyMoE框架，包含以下关键技术：

• 动态稀疏门控：不同于传统Top-2路由，大发国际信誉使用基于注意力权重的自适应路由，每个token可激活1～4个专家，减少专家坍缩风险。
• 负载均衡损失改进：引入辅助损失以平衡专家利用率，训练过程中每个专家的负载标准差降低至0.12（传统MoE通常为0.25～0.35）。
• 两阶段渐进式训练：第一阶段用2T tokens训练“骨干+所有专家”基础能力，第二阶段冻结骨干，仅微调专家+路由，使训练稳定性提升40%。
• 离线int4量化：推理阶段支持W4A16量化，单张RTX 4090即可运行14B总参模型，生成速度达到45 tokens/s。

上图展示了大发国际信誉的MoE架构设计，其中每个专家模块的大小为1024维，共16个专家，路由层由两层MLP组成。

五、架构与训练/实现路径

大发国际信誉的完整规格如下：

• 架构：Transformer MoE，解码器-only，层数32，注意力头数32，隐层维度4096，FFN维度11008（专家内）。
• 专家数：16个，每个token平均激活1.8个专家。
• 训练数据：5.2T tokens，包含公开数据集（C4、The Pile、Stack V2）及星图AI自研的数学和代码语料（占比40%）。
• 训练框架：基于Megatron-LM修改，支持张量并行+专家并行，在256张A100-80G上完成预训练，耗时12天。
• 对齐阶段：先使用91072万条指令做SFT，再用DPO进行偏好对齐（偏好数据来自内部标注+GPT-4o蒸馏）。

六、用户获取与使用方式

大发国际信誉现已完全开源，用户可通过以下方式获取：

• GitHub仓库：starai/notebook-diy，包含模型权重、推理脚本、微调代码及文档。
• Hugging Face模型卡：starai/notebook-diy，支持直接通过transformers调用。
• 在线Demo：demo.starai.org/notebook-diy，无需注册即可体验。
• API服务：提供RESTful API，输入224 tokens/秒，价格0.002美元/千tokens，比GPT-4o便宜90%。

上图是大发国际信誉的在线聊天Demo界面，支持多轮对话、代码高亮和数学公式渲染。

七、总结与展望

大发国际信誉的发布标志着开源大模型在“高性能+低成本”方向上迈出了坚实一步。星图AI计划在2026年Q3推出大发国际信誉 Pro版本（总参70B，激活8B），并探索引入视觉模块。目前大发国际信誉已在国内多家AI应用平台落地，日均调用量超过6335万次。随着社区贡献的增多，其能力边界还将持续拓展。