2026年9月15日
colibrì：让超大 MoE 模型不必全部塞进显存
本地运行大模型，通常先问“显存装不装得下”。GitHub 今日热门项目 colibrì 换了一个思路：把显存、内存和 NVMe 硬盘视为统一存储层级，只让高频专家权重留在更快的位置，为研究超大 MoE 模型提供一条本地路径。
本地运行大模型，通常先问“显存装不装得下”。GitHub 今日热门项目 colibrì 换了一个思路：把显存、内存和 NVMe 硬盘视为统一存储层级，只让高频专家权重留在更快的位置，为研究超大 MoE 模型提供一条本地路径。
📌 这个项目是干什么的
colibrì 是纯 C 编写的 MoE 推理引擎，支持 GLM、DeepSeek、Kimi、Qwen、OLMoE 等九个模型家族，并提供统一的聊天、服务和网页入口。
它利用 MoE 每个 token 只激活部分专家的特点，把密集层常驻内存，将大量专家权重放在硬盘，再按路由热度进行缓存、预取和分层放置。GPU 不是必需条件，但硬盘、内存和 CPU 会直接决定速度。
🔍 为什么值得关注
第一，解决的是“权重如何移动”，而不只是“怎么压得更小”。 项目统一调度 VRAM、RAM 和存储，并强调分层放置只改变速度，不应静默改变精度或路由语义。
第二，性能结论相对克制。 官方公开基准协议、冷热缓存差异及失败实验。以 25GB 内存的开发机运行 744B 模型时，冷态仅约 0.05～0.1 token/s；“能运行”显然不等于“适合日常对话”。
第三，维护仍然活跃。 9 月 13 日发布的 v1.11.0 加入 DeepSeek V4.1 Flash，并修复多项跨平台问题。仓库采用 Apache-2.0 许可证。
🧪 谁适合试，怎么开始
它更适合研究 MoE 推理、异构内存和存储 I/O 的开发者，也适合有大容量 NVMe、能接受慢速生成的本地模型玩家。普通用户不必先下载数百 GB 权重，可用约 7GB 的 OLMoE 验证流程。
三大桌面平台都有预编译包；从源码开始可执行：
git clone https://github.com/JustVugg/colibri.git
cd colibri/c
./setup.sh准备模型后，先运行 ./coli doctor 检查文件与权限，再用 ./coli plan 查看权重分配，最后进入 ./coli chat。测试时应记录首 token 延迟、生成速度、内存占用和硬盘温度，而不是只看“成功启动”。
⚠️ 使用提醒
官方参考的 GLM-5.2 int4 容器约 372GB，低配机器可能远低于 1 token/s；持续读取还会带来温度与功耗压力。接入服务前应固定版本、自测质量，并核对模型权重许可证——引擎开源不等于权重可以任意商用。