WASTE 推理引擎实现 Kimi K3 2.78T 模型在 64GB 笔记本本地运行

8 月 01 日，据 Hacker News 热门项目，开源推理引擎 WASTE 实现了在配备 64GB 内存的 MacBook Pro 上运行完整 Kimi K3 模型的本地推理。

据介绍，WASTE 使用 C 语言开发，通过将模型主干常驻内存、按需从磁盘流式读取 MoE 专家权重的方式，将最低内存占用压缩至约 29.05 GiB，推理速度约为每秒 0.49 至 0.54 个 Token。

Kimi K3 完整模型拥有约 2.78 万亿参数，模型容器大小约为 982 GiB，此前普遍认为难以在消费级硬件上运行。WASTE 通过流式加载机制绕开了显存限制，使普通配置的笔记本电脑能够运行完整模型权重，而无需依赖量化或裁剪版本。

目前，该项目已在 Hacker News 社区获得广泛关注，相关代码已开源。