2026年8月14日
Needle 2：把工具调用模型压进 14MB，端侧 Agent 有了新选项
如果设备只需要识别意图、选择工具并生成合规参数，未必需要塞进一个通用大模型。Needle 2 把这件事做成了一个可本地运行的小模型，适合探索手机、穿戴设备、智能家居和机器人上的轻量 Agent。
如果设备只需要识别意图、选择工具并生成合规参数，未必需要塞进一个通用大模型。Needle 2 把这件事做成了一个可本地运行的小模型，适合探索手机、穿戴设备、智能家居和机器人上的轻量 Agent。
📌 这个项目是什么
Needle 2 是 Cactus Compute 开源的工具调用与结构化抽取模型。模型有 4500 万参数，经 2-bit 量化后打包为约 14MB 的单文件引擎，官方称完整会话内存约 28MB。它不以自由对话为目标，而是读取工具描述与参数 Schema，把自然语言转换成函数调用或结构化数据。
它的 Python 包同时提供推理、LoRA 微调和导出能力。模型首次使用时会从 Hugging Face 下载并缓存；完成下载后，推理过程无需联网。
🔍 为什么值得关注
第一，它把端侧 Agent 的问题收窄了。许多设备任务其实只是“调空调、查联系人、填表单”，关键不是写长答案，而是可靠地选择动作。Needle 2 用字节级 grammar 约束解码，使输出符合声明的 Schema，减少 JSON 格式错误。
第二，它为失败处理留了接口。每次结果都包含置信度，产品可以设置阈值：高于阈值执行，低于阈值转交云端模型或让用户确认。工具很多时，内置检索头还会先选出最相关的 5 个，再限制可调用范围。
第三，项目不只放出模型文件。仓库包含 Python API、测试、微调流程与 Playground；Hugging Face 还提供 Linux、Windows、Android、iOS、watchOS 和 WASM 等平台构建产物，便于验证跨端可行性。
🧪 谁适合试，怎么开始
适合开发端侧助手、智能硬件、离线表单抽取或隐私敏感自动化的团队。可先用一个低风险函数做最小验证：
pip install cactus-needleimport needle
@needle.tool
def set_light(room: str, on: bool):
"控制指定房间的灯。"
return {"room": room, "on": on}
agent = needle.Needle(tools=[set_light])
print(agent.run("打开书房的灯")["results"])建议同时准备正常表达、歧义表达和越权请求，统计工具选择、参数准确率与拒绝率，再决定是否接入真实设备。
⚠️ 使用提醒
14MB 不等于通用智能。Needle 2 采用 256 token 滑动窗口，且没有自由文本兜底，更适合边界明确的调用和抽取任务。官方基准与置信度校准结论主要来自项目方，正式上线前应使用自己的中文语料复测。
此外，GitHub 代码仓库标注 MIT License，Hugging Face 模型页标注 Apache-2.0，集成和再分发时要分别核对。项目当前没有 GitHub Release，生产环境不宜直接追踪主分支，应固定 Python 包与模型版本。