【定位】jev-sec-bench 是 Gaurav-Gosain 面向 Jev 的盲测安全基准,覆盖提示词注入与漏洞代码检测,基于 jev-go 用 Go 实现。

【功能】两项基准均为盲测,使用公开语料。注入检测跑 deepset/prompt-injections 的全部 662 条带标注消息(其中 263 条为注入),每条一次请求,不做阈值调优。漏洞代码检测跑 CyberNative/Code_Vulnerability_Security_DPO 的 200 条配对样本:同语言、同风格的两半解同一任务,一半带漏洞;两半被打散后独立计分,不告知 Jev 漏洞类别与配对关系。仓库另含 no-context 消融与语料标签审计,并保存逐样本输出。

【特点】注入基准在 0.5 阈值下的准确率为 96.5%、精确率 96.2%、召回率 95.1%、F1 95.6%、ROC-AUC 0.9927,662 条消息耗时 22.7 秒;把部署用途作为上下文传入后,准确率由 89.7% 升至 96.5%。代码基准中,有漏洞的一半在 200 对里的 178 对(89.0%)排在其安全孪生之上——作者给出的头条数字——而 0.5 阈值下的绝对准确率为 71.5%。MIT 许可,Go 实现,2026-09-16 单次运行。

【适用】适合在安全与护栏场景中评估 Jev,用概率驱动阈值策略,并观察无上下文时护栏损失多少。作者明确列出限制:代码语料为合成数据、标签经审计证明确有噪声(被标为安全却被 Jev 标记的样本中,至少 38% 属于可证实的标签错误,为下限而非估计)、单次运行且无重复、小样本分格存在真实方差。阈值应先在自有标注数据上验证;引用数字须带上这些限制。