## 引言：分类任务为什么不该用大模型硬扛

在AI应用落地中，大量场景本质上是"分类与决策"问题：工单分流、内容审核、意图识别、模型路由、风险筛查。传统做法是调用通用大模型，用提示词约束输出JSON格式，再解析结果。这种方式存在三个结构性问题：一是延迟高，开放式生成需要逐Token输出，简单分类也要等完整响应；二是成本高，输出Token同样计费，而分类任务的输出本应极简；三是不可靠，模型可能输出预设之外的答案，需要额外的校验和重试逻辑。

决策模型（Decision Model）正是为解决这一类问题而生。它放弃开放式文本生成，要求模型在开发者预设的有限候选答案中快速甄别，并同步返回置信度分数。OpenAI最新开放公测的Decisions API由GPT-6 Luna驱动，在特定任务中速度最高提升10倍，每百万输入Token仅收费0.10美元，不收取输出及缓存费用。开源社区中，vLLM也一口气推出了6款决策模型，基于Qwen系列进行后训练。决策模型正在成为AI基础设施中不可或缺的一层。

## 架构原理：从开放式生成到闭集决策

决策模型的核心架构差异在于输出空间的约束。传统LLM推理的输出空间是整个词表，模型需要在数千到数万Token中逐步选择下一个Token，生成完整的自然语言回答。而决策模型将输出空间压缩为一个闭集（ClosedSet）——开发者预先定义的候选答案集合，模型只需在这个有限集合中计算每个候选的概率分布，直接返回概率最高的选项及置信度。

这种架构变化带来三个关键优势。第一，推理路径大幅缩短。传统生成需要输出N个Token，决策模型只需一次前向传播计算候选概率，延迟从秒级压缩到百毫秒级。第二，结果确定性强。输出永远在预设集合内，不会出现幻觉或格式错误，无需后处理校验。第三，成本结构优化。只计输入Token费用，输出不收费，批量分类场景下成本可降低一个数量级。

决策模型通常支持三种问题类型：谓词判断（Predicate，返回布尔值及概率）、选项选择（Choice，从预设选项中选一个）、数值评分（Score，按指定标准给出0-1分数）。这三种类型覆盖了绝大多数分类决策场景。

## 工具介绍：三大决策模型方案对比

目前主流的决策模型方案有三个。OpenAI Decisions API是闭源方案，由GPT-6 Luna驱动，支持文本和图片输入，延迟约150毫秒，适合快速接入和中小规模场景。其API设计简洁，开发者只需提供上下文、问题和允许的答案集合，即可获得结构化决策结果。

vLLM决策模型是开源方案，社区一口气推出了6款基于Qwen不同版本后训练的决策模型，可在本地或私有云部署，适合数据敏感和大规模批量场景。vLLM的PagedAttention和连续批处理机制让决策模型的吞吐量进一步提升，单GPU可同时处理数百个分类请求。

Jev是TypeSafe AI推出的独立决策模型，24天估值暴涨37倍，专注于结构化决策和类型安全输出，与编程语言的类型系统深度集成，适合需要编译期校验的工程化场景。

三者各有侧重：OpenAI方案接入最快、vLLM方案可控性最强、Jev方案工程化最深。在实际架构中，往往组合使用——用决策模型做前置过滤和路由，用通用大模型处理需要深度推理的复杂请求。

## 实践步骤：构建决策驱动的AI推理路由架构

下面以vLLM部署决策模型为核心，构建一个"决策前置+大模型兜底"的两级推理路由架构。

第一步，用vLLM部署决策模型。选择一款适合场景的决策模型，例如基于Qwen2.5-7B后训练的版本，使用vL
LM启动服务：

```bash
vllm serve qwen-decision-7b \
--port 8000 \
--max-model-len 4096 \
--max-num-seqs 256 \
--gpu-memory-utilization 0.90 \
--tensor-parallel-size 1
```

决策模型的上下文通常较短（分类任务输入一般在2K以内），因此max-model-len设为4096即可，节省KV缓存空间。max-num-seqs设为256，充分利用决策模型推理快、批处理效率高的特点。

第二步，封装决策接口。决策模型的调用方式与传统生成不同，需要传入候选答案集合：

```python
import requests

def classify(text, candidates, question="这条内容属于哪个类别？"):
resp = requests.post("http://localhost:8000/v1/decisions", json={
"model": "qwen-decision-7b",
"input": text,
"questions": [{
"type": "choice",
"question": question,
"options": candidates
}]
})
result = resp.json()["choices"][0]
return result["decision"], result["confidence"]
```

第三步，构建置信度闸门。决策模型返回置信度后，设置阈值进行分流：高置信度直接使用决策结果，低置信度路由到通用大模型深度处理：

```python
CONFIDENCE_THRESHOLD = 0.85

def route_request(text):
decision, confidence = classify(
text,
["技术咨询", "账单问题", "投诉建议", "其他"]
)
if confidence >= CONFIDENCE_THRESHOLD:
return {"route": decision, "confidence": confidence, "handler": "auto"}
else:
# 低置信度路由到通用大模型
result = call_general_llm(text)
return {"route": result, "confidence": confidence, "handler": "llm"}
```

第四步，加入Redis缓存。分类请求往往有大量重复，用Redis缓存决策结果可进一步降低延迟和成本：

```python
import redis
import hashlib

r = redis.Redis(host="localhost", port=6379, db=0)

def classify_with_cache(text, candidates):
key = "decision:" + hashlib.md5(

(text + "|".join(candidates)).encode()
).hexdigest()
cached = r.get(key)
if cached:
return eval(cached)
decision, confidence = classify(text, candidates)
r.setex(key, 3600, str((decision, confidence)))
return decision, confidence
```

第五步，部署到Kubernetes并配置HPA。决策模型QPS高、延迟低，适合按CPU和自定义QPS指标弹性伸缩：

```yaml
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: decision-model-hpa
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: decision-model
minReplicas: 2
maxReplicas: 10
metrics:
- type: Pods
pods:
metric:
name: decision_qps
target:
type: AverageValue
averageValue: "500"
```

## 最佳实践与踩坑

第一，候选答案集合的设计直接影响准确率。候选选项应互斥且穷尽，避免重叠语义导致模型犹豫。例如"技术问题"和"编程问题"存在包含关系，应合并或细化区分维度。选项数量建议控制在2-10个，过多会稀释概率分布、降低置信度。

第二，置信度阈值需要根据业务场景调优。高风险场景（如医疗分诊、金融风控）应设较高阈值（0.9以上），低风险场景（如内容标签）可设较低阈值（0.7）。阈值不是一成不变的，应定期用标注数据评估精确率和召回率，动态调整。

第三，决策模型不适合开放式推理。它擅长分类、判断、评分，但无法替代需要深度推理、创意生成或多步规划的任务。架构上应明确分层：决策模型做前置过滤和路由，通用大模型处理复杂请求，两者互补而非替代。

第四，批量处理是决策模型的成本杀手。vLLM的连续批处理让数百个分类请求同时推理，单请求成本可低至传统API的十分之一。对于日志分析、内容审核等批量场景，应优先使用批量接口而非逐请求调用。

第五，监控决策模型的分布漂移。当输入数据分布变化时，决策模型的置信度可能整体下降，表现为更多请求被路由到通用大模型。应监控平均置信度、路由比例和各类别分布，及时发现数据漂移并重新校准。

## 总结

决策模型代表了AI推理架构的一个重要分化方向：不是所有任务都需要通用大模型的开放式生成，分类决策场景可以用更轻量、更快速、更便宜的专用模型处理。通过"决策前置+大模型兜底"的两级路由架构，配合Redis缓存和Kubernetes弹性伸缩，可以在保证准确率的同时，将推理成本降低一个数量级、延迟压缩到百毫秒级。

随着OpenAI Decisions API的开放、vLLM开源决策模型的成熟，决策模型正在从实验性功能走向生产级基础设施。对于正在构建AI应用的团队来说，现在是时候重新审视架构中那些"用大模型做分类"的环节，用决
策模型替代它们，把宝贵的大模型算力留给真正需要深度推理的任务。