AI 前沿 · 每日整理
284B 的 DeepSeek 塞进 64GB 内存：没 GPU 也能跑起来
开源项目 llama-modchip 把 284B 参数的 DeepSeek-V4-Flash 用量化转码加 CPU 内核补丁压到 56.56 GiB，在 64GB 内存、无 GPU 的机器上跑起来，预填充速度 44.4 tok/s（项目方自报）。本地跑旗舰开源模型的门槛，从“多张高端显卡”降到“一台大内存主机”。
原文摘录
Fits in 62.5 GiB usable Linux RAM (57.61 GiB VmRSS) with zero NVMe swap（大意：62.5 GiB 可用内存就装得下，实际占用 57.61 GiB，完全不用拿硬盘当内存顶。）
值得肯定
门槛降得实实在在：原本要多张高端显卡才能跑的 284B 模型，现在一台大内存主机加几百美元硬件就能跑起来，预填充 44.4 tok/s 这个数字也摆在明面上；项目开源，量化到每参数 1.71 比特、256K 上下文只占 432MB KV 缓存这些细节都能核对
需要注意
速度和精度都是妥协换来的：激进量化对效果的影响不是线性的，44.4 tok/s 与内存数字都是项目方自报、未经第三方验证；Hacker News 评论也提醒，一台约 800 美元的二手工作站能跑，不等于跑得和原版一样好