大模型分类器未必不可替代：用 25 行 Python 复刻 Jev 的即时决策机制

近期，以即时决策为核心卖点的 Jev 受到了不少关注。围绕这套机制是否真的不可替代，NobodyWho 给出了一个相当直接的回应：用 25 行 Python 代码把它还原出来。

复刻的做法

这套实现并不复杂。它调用本地的 GGUF 模型，只做一次 Prefill，随后直接从候选标签所对应的 Logits 中取出概率值。整个流程不需要模型逐字生成文本，自回归式的文本生成开销被完全绕开。

换句话说，它并不要求模型「写出」一个答案，只要求模型在给定候选集合的情况下，把各个候选的概率分布交出来。判断这一步本来就不需要生成，只要比较。

三点收益

这样的实现带来三方面好处。

其一，判断延迟被压缩到毫秒级。因为跳过了逐 token 生成的环节，耗时不再随输出长度增长，一次前向计算即可得到结果。

其二，无需承担云端 API 的账单。模型在本地运行，没有按调用量计费的成本项，高频调用也不会推高开支。

其三，数据自始至终不离开本地设备。输入内容与判断结果都留在本机，不经过外部服务，这对隐私敏感的场景尤为重要。

适用场景

对于端侧意图分类与工作流路由这两类场景而言，这套方案给出了一条分量极轻的落地路径：模型体积可控、依赖少、调用成本接近于零，同时响应速度足以支撑实时交互。

需要说明的是，上述实现针对的是分类与路由这类「从有限候选中选一个」的任务，而非开放式文本生成。它展示的是：在这类任务上，把生成环节去掉并不会损失判断能力，反而省下了延迟与成本。

来源：nobodywho.ai /posts/jev-in-25-lines