AI 前沿 · 每日整理
英伟达在一台桌面 AI 电脑上把大模型推理提速 42.5%：靠三招优化叠加
DGX Spark 是一台桌面大小的 AI 电脑。英伟达演示了在它上面跑 124B 的 MoE 模型（蚂蚁集团的 Ling-3.0-flash）时用的三招优化，叠加之后，在 GSM8K 测试上生成速度提升 42.5%，并称精度没有可察觉的变化。数字来自厂商演示和单个测试，换成你自己的活儿能提多少，还得自己测。
原文摘录
NVIDIA shows how 3 stacked optimizations speed up MoE inference on a single DGX Spark.（大意：英伟达展示了三招优化叠加起来，如何在一台 DGX Spark 上给 MoE 模型推理提速。）
值得肯定
MoE 模型的瓶颈常在专家调度而不是参数大小，针对性优化能不换硬件就换来速度，思路可借鉴；用的是公开的第三方模型做演示，不是自家玩具，参考价值更高一点。
需要注意
42.5% 只来自一个基准和厂商自己的演示，没有第三方复现；“精度无可察觉变化”也是厂商口径，没有给出具体的对比数字。