【定位】evals.typesafe.ai 是 TypeSafe 官方的"workflow evals"(工作流评测)交互站点,把多步决策工作流逐步可视化,报销审批工作流是其展示案例。
【功能】访问者可在站点上逐步查看模型在一条完整流程中每一步的行为;与孤立的单题问答相比,这种形态更接近决策模型的实际部署方式。与单题基准不同,它衡量的对象是整条步骤链,而非一次一个决策。站点与发布博客同步推出,博客中给出评测数字。
【特点】博客给出的主要数字包括 193.6x 与 444.6x 的提升,属官方自报:工作流由 TypeSafe 自建、参考答案由模型生成,并非独立基准,倍数应视为厂商声明而非已验证结论。工作流评测衡量整条步骤链上的行为,也因此更难被独立验证;透明度方面,评测背后的工作流代码已在 typesafe-ai GitHub 组织开源,第三方可以审计到底测了什么。
【适用】适合想观察 Jev 在多步工作流中的实际行为、或想审计官方评测到底测了什么的读者。若要了解 Jev 的外部评价,本资源库其他条目收录的独立排行榜与基准是更合适的起点。