AI 前沿 · 每日整理
10 个开源 MoE 模型路由方式逐项对照:专家数从 8 到 384
一篇以各模型 config.json 为依据的对照整理:10 个开源 MoE 模型的专家数、top-k、共享专家、门控函数与负载均衡方法逐项核对,包含 DeepSeek-V4 的哈希路由等新细节。从 Qwen3.6-35B-A3B(35B 总参数、3B 激活)到 DeepSeek-V4-Pro(1.6T 总参数、49B 激活)都列在其中。
原文摘录
Open Mixture-of-Experts (MoE) models share one idea but disagree on almost every routing detail. Expert counts range from 8 to 384. Top-k ranges from 1 to 8.(大意:开源 MoE 模型共享同一个思路,但在路由细节上几乎处处不同:专家数从 8 到 384,每次激活的专家数从 1 到 8 不等。)
值得肯定
以各模型 config.json 为依据逐项核对,不是凭印象写:专家数、top-k、共享专家、门控函数、负载均衡方法五项全列,含 DeepSeek-V4 的哈希路由等新细节;gpt-oss-120b 能塞进单张 80GB 显卡、Kimi K2 需要多卡专家并行这类部署结论能直接拿去选型
需要注意
它只是整理性内容,没有新模型或新突破;有些关键信息本身就是缺的——Llama 4 Maverick 与 gpt-oss 没有在 config.json 里公开门控与负载均衡方法,表格里这几格只能留空