DeepSeek 开源看家算子的同一周,AI 超过了它
国产大模型的竞争,正从模型层延伸到算力层:再强的模型,最终都要基于算子在芯片上执行。同一个模型、同一块芯片,换一套更优的算子,有时会带来数倍的性能提升。算子的效率决定了同样的显卡能跑多快,也决定了每个 token 的价格。 DeepSeek 近日全面开源推理框架 DeepInfer。继模型权重和 FlashMLA、DeepGEMM 等算子库之后,他们把模型运行的链路开放了。其中的 FlashMLA,有工程师在芯片上逐行手调的版本,算子性能跑到了硬件极限的 90% 以上,这也是人类手艺目前在部分芯片上达到的极限成绩。 而这个极限,同一周就被 AI 刷新了。据悉,截至 10 月 22 日,完全由…
本文作者:
Nemo
导语:同一个模型、同一块芯片,换一套更优的算子,有时会带来数倍的性能提升。
国产大模型的竞争,正从模型层延伸到算力层:再强的模型,最终都要基于算子在芯片上执行。同一个模型、同一块芯片,换一套更优的算子,有时会带来数倍的性能提升。算子的效率决定了同样的显卡能跑多快,也决定了每个 token 的价格。
DeepSeek 近日全面开源推理框架 DeepInfer。继模型权重和 FlashMLA、DeepGEMM 等算子库之后,他们把模型运行的链路开放了。其中的 FlashMLA,有工程师在芯片上逐行手调的版本,算子性能跑到了硬件极限的 90% 以上,这也是人类手艺目前在部分芯片上达到的极限成绩。
而这个极限,同一周就被 AI 刷新了。据悉,截至 10 月 22 日,完全由 AI 编写算子、无人工逐行调优的 ForgeKernel,同时登顶两个算子评测榜:英伟达主场的 SOL-ExecBench FlashInfer-Bench 合集第一,以及昇腾 CANN 官方仓库维护的 CANNBench A3 硬件榜第一,基准加速比 1.835×,领先第二名 25%。在名次之外,AI自主优化算子的能力不容小觑:在DeepSeek v4.1 Flash的算子上,相比DeepSeek开源的英伟达版本,ForgeKernel也通过从0用AI迭代的方式实现了性能超越。
这是智能进化的接力。无论是DeepSeek的开源精神还是算子优化榜单的焦灼竞争,最终都导向同一个方向:让国产智能在每一块芯片上都跑得更快。
英伟达 SOL-ExecBench FlashInfer-Bench
昇腾 CANNBench A3 硬件榜
0 人收藏
分享:
相关文章
DeepSeek
英伟达
ForgeKernel
算子评测榜
宁德时代董秘被打?知情人士回应;怕担责先跑路?娃 ...
StartLux推出全球首个决策模型推理引擎,最高提速度 ...
大肥鱼遇劲敌:MiniMax M3.1 Flash 拿下 Agent 任务 ...
停止加薪!大众计划冻结全球大量员工薪酬至2030年; ...
Nemo
发私信
当月热门文章
海尔官宣孙颖莎成为全球品牌代言人
京东采销员工发布谣言诋毁其他平台被起诉,法院已立案
豆包工作上线新功能,支持跨AI产品一键导入已有配置
从 Dreamore 到 CreaXene:AI 生成工具正在走向创作工作流
豆包工作新增画布功能,并接入豆包2.1 Lite模型
最新文章
抖音副总裁李亮回应秦朔:关于中国互联网“字节时间”的分析存在常识性错误
豆包工作能力升级:操作电脑可录制成技能,锁屏后也能继续任务
华为无线发布全系列创新成果,领启新一代通信网
Muse之后,灵光2.0让Personal Agent接手中国式日常
千问办公接入乐奇AI眼镜,一句话发起任务
超1800支参赛队伍创纪录,蚂蚁灵波具身模型挑战赛即将决赛
热门搜索
智能家居
大模型
5G
海康威视
YouTube
马化腾
新基建
越狱
创业公司
Fintech
小鹏
为了您的账户安全,请 验证邮箱
您的邮箱还未验证,完成可获20积分哟!
重发邮箱 修改邮箱
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以 设置密码 以方便用邮箱登录
立即设置
以后再说
本文内容由 ai007 从公开渠道聚合,版权归原作者所有。若原文已删除或变更, 以原文站为准;本站存档仅为便于查阅而保留。