TypeSafe AI 的 Jev 现已在 AI 网关上可用
为应用提供一种更快的方式来决定下一步操作。使用 Jev 来路由请求、标记内容和评估优先级。
立即开始
来自 TypeSafe AI 的 Jev 现已在 AI Gateway 上可用。
Jev 是一个面向软件的概率决策模型：输入状态，输出带有类型的 Choice、Score 和 Boolean 答案。
常规语言模型逐 Token 生成文本，随后应用再对其进行解析和验证。Jev 并行评估所有声明的问题，并直接返回带有类型的答案及其概率。这去除了不必要的文本生成环节，使得自动化处理明确案例变得简单，同时将不确定的案例路由至人工审核。
TypeSafe 报告称，在其工作流评估中，Jev 的速度比 LLM 快至 193.6 倍，成本低至 444.6 倍。示例用例包括：
在 Agent 循环中选择下一个工具或子 Agent
决定是否继续、重试、询问用户或停止
在采取行动前评估紧急程度或风险
验证模型输出并强制执行护栏机制。
AI SDK 7 通过实验性的 evaluate API 暴露 Jev 功能。Choice 用于选择选项，Score 用于对有序评分标准进行评分，Boolean 用于估算 true 的概率。安装当前版本的 AI SDK（AI SDK 7.0.105 及更高版本支持 evaluate API）：
pnpm add ai@latest每次评估指定：
model：要调用的评估模型，state：要评估的共享字符串、对象或数组，以及questions：关于该状态的命名决策映射。
使用 typesafe-ai/jev 调用模型。以下示例将一个支持工单转化为队列、优先级和退款审查决策，其中不确定的路由将发送给人工审核：
1import { experimental_evaluate as evaluate } from 'ai';2
3const result = await evaluate({4 model: 'typesafe-ai/jev',5 state: 'The support agent issued a full refund to the customer.',6 questions: {7 refunded: {8 type: 'boolean',9 instructions: 'Was a refund issued?',10 },11 },12 providerOptions: {13 gateway: { zeroDataRetention: true },14 },15});16
17console.log(result.answers.refunded);结果会保留问题 ID 和 Choice 键。TypeSafe 会在 result.providerMetadata.typesafe.confidence 中单独报告 Choice 和 Score 的置信度。你可以通过工作流中的带标签示例，校准概率和置信度。
Jev 支持零数据保留（Zero Data Retention）和禁止训练（No Training），示例中已按请求启用这些选项。评估调用也会出现在日志和自定义报告中，计入预算，并接受同一 providerOptions.gateway 对象中的其他 Gateway 提供商选项。