【定位】RouteLLM 是 lm-sys 的 LLM 路由框架,早于 Jev,作为同范式对照条目收录:按查询难度在强弱模型之间分配流量。

【功能】可直接替换 OpenAI 客户端接入,也可作为兼容服务器运行,两种方式分别对应替换应用内的客户端与对外提供兼容服务。仓库自带评测框架与阈值校准工具;官方训练的路由器号称在保持 95% GPT-4 水平的同时节省 85% 成本,数字为官方自报、出自项目自身的评测框架。

【特点】模型路由也是 Jev Choice 的典型场景,RouteLLM 是这一场景的开源基线:Jev 用校准概率逐请求决策,RouteLLM 用训练出的路由器决策,两者构成同一场景下不同方案的先后对照。

【适用】适合研究模型路由与路由器评测方法的读者:其评测与阈值校准工具展示了如何度量和校准一个路由器,而不只是如何构建。效果数字为官方自报,引用时需注明口径。