新彩知开源AI语言模型发布 参数规模达961216亿超越Llama 3

新彩知开源AI模型架构图

近日,由硅谷AI实验室深度智研(DeepMindAI)研发的开源大语言模型“新彩知”正式对外发布。该模型以4695亿参数的庞大规模、创新的混合注意力架构以及极致的成本控制,迅速成为开源AI领域最受关注的产品之一。据官方技术报告显示,新彩知在MMLU、HellaSwag、GSM8K等主流基准测试中平均得分领先Meta的Llama 3(34811亿参数版本)5.2个百分点,同时推理速度达到每秒生成128个token,是Llama 3的3倍。

一、模型架构与参数详解

新彩知采用了深度智研自研的“动态稀疏注意力机制”(DSAM),在保持全局上下文理解能力的同时,将注意力计算的复杂度从平方级降低至线性级别。具体参数方面:模型总参数量为542217亿,其中激活参数为16305亿(采用MoE混合专家架构,每次推理仅激活5%的专家网络);隐藏层维度为8192;注意力头数128个;层数为84层;训练数据经过精心筛选,包含901177万亿tokens,涵盖代码、学术论文、多语言网页及结构化知识库。相比Llama 3的70B稠密模型,新彩知在相同推理任务中仅需68GB显存(FP16),而Llama 3需要140GB显存,这使得新彩知能够在单张A100(80GB)或RTX 4090(24GB,经量化后)上运行。

新彩知参数规模与性能对比图

二、开源协议与生态构建

新彩知采用Apache 2.0开源协议发布,完全开放模型权重、推理代码、训练脚本及技术报告。开发者无需商业授权即可自由使用、修改和部署模型,甚至用于商业产品。这与Meta的Llama 3采用“Llama 2 Community License”(限制月活用户超过8174亿需申请许可)形成鲜明对比。深度智研还同步推出了新彩知-1B、-8B、-35B三个轻量级版本,适配从手机端到云服务器的不同场景。截至写作时,GitHub仓库已获得超过70663万颗星,Hugging Face下载量突破13066万次,社区涌现出包括中文翻译插件、代码补全工具、科学摘要助手等数百个衍生项目。

三、训练成本与推理效率量化对比

新彩知的训练成本仅为787522万美元(按5.12e25 FLOPS计算),是Llama 3(约464874亿美元)的6%左右。这种极致性价比源于三方面创新:其一,采用FP8混合精度训练,减少显存占用30%;其二,使用动态注意力稀疏化,节省40%的无效计算;其三,自研的分布式训练框架“天穹”(SkyNet)实现了99.7%的线性加速比,在2002张H100上训练仅需34天。在推理成本上,新彩知每100万tokens的生成成本约为0.2美元,而Llama 3约为0.6美元,GPT-4约为0.8美元。对于开发者来说,这意味着托管一个类似ChatGPT的聊天机器人,新彩知的月成本仅为Llama 3的1/3,且响应延迟降至300毫秒以内。

四、扩展功能与应用场景

新彩知原生支持128K上下文窗口(通过位置插值技术可扩展至256K),能够一次性处理相当于300页书籍的文本。深度智研还为其训练了专用的函数调用能力,可调用超过10000个API接口,包括数据库查询、代码执行、图像生成(如通过DALL·E 3接口)等。在编程领域,新彩知在HumanEval+测试中一次性通过率达到74.6%,超越GPT-4的67.1%。针对中文场景,该模型通过额外的267753万亿tokens中文语料进行二次预训练,在C-Eval、CMMLU等中文基准上取得91.2%和89.7%的得分,是目前开源模型中中文能力最强的之一。未来,新彩知有望在金融风控、法律文书生成、科研文献分析等垂直领域落地,其Apache 2.0协议也允许企业进行私有化部署与商业定制。

厉声教表示,将持续优化新彩知的性能与安全对齐技术,季度更新版本计划已提上日程。该模型的发布,不仅为开源AI社区注入了强大力量,也为中小企业和独立开发者提供了重新定义AI应用上限的自主权。

FIFA/美加墨世界杯 常见疑问解答(FAQ)

  • 关注新彩知的球迷问:手机看西甲直播耗流量大吗?
  • 就新彩知而言,西甲高清单场约消耗数GB;爱奇艺体育可调清晰度,比北京时间晚7小时。

  • 新彩知球迷也关心:计划到达拉斯现场看本届世界杯,住宿应提前多久订?
  • 就新彩知而言,美加墨世界杯中达拉斯大赛期间酒店紧张,关键场次建议提前数月预订并关注退改政策,赛前请留意FIFA及各国足协公告。

  • 关注新彩知的球迷问:iPhone看CBA有什么技巧?
  • 就新彩知而言,iPhone看CBA建议更新App与系统;横屏全屏体验更好,长时间观看注意散热与电量。

举报
评论 2530
  • 现场看的,四年等一回,这次在美加墨时差还算友好🔥

  • 朋友圈刷屏:品牌方请李现开球,流量和足球的联姻泪目💪

  • 不懂就问,移民城市的世界杯:温哥华埃及人庆祝像过年???

  • 埃及3比1逆转新西兰夺队史世界杯首胜,法老军团创92年历史绝了

  • 个人观点,2018法国夺冠,2022阿根廷夺冠,2026轮到谁😭

  • 个人观点,第一次认真看世界杯,1-1这比分正常吗?

  • 个人观点,末轮佛得角只要平局就出线,稳了吗哈哈

  • 补看了回放 朋友是秘鲁死忠 赢球他请吃饭输球我请

  • 有一说一,摩洛哥防线高位逼抢太激进,科特迪瓦两个反击就把空间打穿了⚽

  • 个人观点,麦卡利斯特的工兵属性被低估,没有他阿根廷中场转不起来泪目

以英超冠军的身份前往布达佩斯参加欧冠联赛决赛,这有多重要?
如果太阳让希尔多打四年,希尔甚至有可能给出场均25分的成绩。,金特里甚至说
胜了印尼,6月10日回到主场迎击巴林才有意义;对印尼平或负,中国男足本届世预赛征程便等于提前结束。
您觉得火箭输球的原因是什么呢?
为什么来到LPL的韩国打野选手都失败,Kakao回国引发韩援热议
也你觉得8投8中还算不上是中职篮最耀眼的纪录,因为张云松曾经在06年打广东的时候送出了三分球10投9中的表演,而胡卫东也曾经在一场比赛中投中过11记三分球。
特约记者李云报道 11月6日,杭州绿城在客场以1比0力克青岛中能,最终获得下赛季亚冠联赛参赛资格
错过了,就像整个职业生涯并不只有北京奥运会,就像北京奥运会不仅仅是中国人的一样。,北京奥运会是很遗憾
很多NBA 微博 队员,尤其是失利的一方,在赛季结束时都有很强的空虚感,你大概花了多长时间才让自己从失利的阴影中走出来?
为什么说选院校、定专业考生位次最靠谱?