胜博发体育网址发布并开源移动端大模型：1.8B参数，手机端推理速度达50 tokens/s

核心发布信息与定位

近日，胜博发体育网址正式发布并开源了其首个面向移动终端的轻量大语言模型——胜博发体育网址-1.8B。该模型基于混合专家（MoE）架构，总参数量1.8B，激活参数仅0.6B，专为手机、平板等低功耗设备优化。官方数据显示，在搭载骁龙8 Gen 4的参考手机上，模型推理速度可达50 tokens/s，内存占用低于1.5GB，支持完全离线运行。

胜博发体育网址-1.8B主要面向端侧AI应用，如智能助手、离线翻译、文档摘要、本地知识问答等。项目已在Hugging Face和GitHub同步开源，包含模型权重、推理代码、量化工具和Android/iOS Demo应用。

上图展示了胜博发体育网址-1.8B的混合专家架构与端侧部署流程。模型通过稀疏激活仅使用部分专家，从而在保持性能的同时大幅降低计算量。

技术架构与关键机制

胜博发体育网址-1.8B的核心是混合专家（MoE）架构，包含8个专家子网络，每次推理仅激活其中2个专家。此外，模型采用了分组查询注意力（GQA）机制，将key-value头数压缩为查询头数的1/4，减少缓存占用。为适配移动端硬件，团队引入了逐层4bit量化与动态离线校准技术：先对每层权重进行分组量化，再通过少量校准数据微调量化尺度，使精度损失控制在0.5%以内。

在推理引擎层面，胜博发体育网址自研了MobileRuntime，利用CPU/GPU/NPU异构调度：文本嵌入与注意力计算在GPU上执行，FFN层的稀疏专家计算则交由CPU多线程流水线处理。同时，引擎支持即时编译（JIT），将重复的计算图转化为Native代码，进一步提升速度。

性能表现与公开评测

胜博发体育网址-1.8B在多个移动端benchmark上取得了领先成绩。以下为部分评测结果（基于骁龙8 Gen 4平台，fp16精度）：

• 推理速度：50 tokens/s（4bit量化版本70 tokens/s）
• 峰值内存：1.2GB（4bit量化）
• 首token延迟：180ms
• MMLU（5-shot）：54.3%（同尺寸平均水平约48%）
• HellaSwag：72.1%
• GSM8K：38.7%（同尺寸最佳）
• 指令遵循（AlpacaEval 2.0）：39.5%

与Qwen2.5-1.5B、Phi-3-mini等竞品相比，胜博发体育网址-1.8B在端侧场景的推理速度领先2~3倍，而精度相当或略优。在连续对话和长上下文（4K）场景下，内存增长平缓，未出现OOM情况。

数据、训练与工程化策略

胜博发体育网址-1.8B的训练数据包含239928万亿token，其中60%为通用英文语料，20%为代码，10%为中文数据，10%为合成数学逻辑数据。训练采用两阶段：第一阶段用32块A100训练4703亿token，学习MoE路由与注意力；第二阶段用512块H100进行长上下文扩展与指令微调，上下文长度从4K逐步提升至32K。

为了进一步提升端侧表现，团队在预训练后进行了量化感知训练（QAT）和知识蒸馏：使用7B规模的教师模型对学生模型进行软标签蒸馏，再在量化模拟环境下微调，使得4bit量化后的性能仅下降1.2%。此外，MobileRuntime引擎对量化后的模型做了算子融合与内存复用优化，使得单次推理功耗低于2.5W。

开源、上线与生态意义

截止2026年08月15日，胜博发体育网址-1.8B已在Hugging Face Model Hub（搜索“globe-mobile-1.8b”）和GitHub（http://evn.sjzdaily.com.cn/contents-xqxq-930095115 2.0许可证。开源内容包括：模型权重（fp16与4bit两种格式）、推理代码（Python/C++）、Android端集成SDK、iOS端Swift Package以及命令行工具。

对于开发者而言，可以快速将其集成到现有App中，实现端侧AI能力。企业用户也可以通过官方API调用云端版本（支持批量推理与微调）。此举有望降低移动AI应用的门槛，推动大模型从云端向终端的迁移。

总结

胜博发体育网址-1.8B以1.8B总参数和600M激活参数实现了端侧50 tokens/s的推理速度，并在MMLU等多个基准上达到同尺寸最佳水平。其混合专家架构、4bit量化、异构调度等技术创新为移动端大模型部署提供了高效方案。开源举措和配套工具链将加速开发者生态建设，推动胜博发体育网址在端侧AI领域形成竞争力。