Laya 本地部署实测：Jev 开源版在 Windows 11 上的分类与判断表现

TypeSafe AI 推出的 Jev 是近期热度很高的一个模型。它和常见的大语言模型走的是两条路：不产出自然语言文本，输出的是带类型的值，同时给出概率估计与置信度评分。分类与判断是它的主场，最突出的优势在于推理速度——毫秒级。

Laya 在能力上与 Jev 相似，做分类和判断同样很快，可以看作 Jev 众多开源实现中的一支（不过从时间上看，Laya 出现得更早；与技术无关的新闻不在本文讨论范围内，可自行检索）。

下面以 Windows 11 系统为例，说明 Laya 的本地部署方式，并附上一键安装包；随后用两个简单示例，对它做分类与判断能力上的测评。

文末的两项简单测评给出的结论是：Laya 在分类任务上表现不错，判断任务上则有所欠缺；推理速度极快，单个分类问题耗时 50–60ms。

# 选择一个安装目录
cd D:\ai\llm
# 下载代码（可选，如果不使用 server 界面，可以跳过此步）
git clone https://github.com/NandhaKishorM/laya.git
cd laya
# 创建环境
conda create -n lava_env python=3.12 -y
conda activate lava_env
# 安装依赖
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130
pip install laya
# 安装 server（可选，如果不使用 server 界面，可以跳过此步）
pip install "laya[serve]"

python examples/server.py

第一次启动会触发模型下载，文件存放在 HF_HOME 指向的位置（默认位于 C 盘）。出现下面这行日志，就说明服务已经起来了：

Uvicorn running on http://127.0.0.1:8000 (Press CTRL+C to quit)

在浏览器里访问 http://127.0.0.1:8000，会看到如下页面：

点一下运行，得到的结果如下：

从结果看，效果相当强劲：5 个问题（分类与判断都有）加起来只花了 216ms。

这一组里，分类答对了，判断答错了。

以智能客服的意图识别为例：

这一组里，分类和判断都答对了。