agentic-eval

你的库够 agentic 吗：同一套脚手架帮了大模型，却拖垮了小模型

Hugging Face 开源了 agent-eval，一套衡量 agent 用你的库时走了多远路的基准：不只看最终答案对不对，还测它花了几轮、几个 token、踩了几个错。用 transformers 当样本，跑在 pi 驱动的开放模型上，结论反直觉：给库加 CLI 和 Skill，帮了最大的开放模型，却拖垮了最小的。给 builder 的判断：agent 友好不是一次性焊上去的属性，能解放大模型的便利可能让小模型更糊涂，解题成本必须按模型尺寸在你自己的工具上实测，不能照搬榜单的最终答案分。