Vieval
By Moeru AI

可靠地评测智能体与模型

智能体的行为时好时坏,借助 Vieval,我们可以探索在不同参数、模型、语言下不同的用例是如何工作的,并为下一次改动提供有效支撑。

vieval
$ pnpm vieval run --report-out .vieval/reports/candidateRUN  vieval✓ |desktop-agent| (412 cases)  cases 407 passed | 5 failed | 0 timeout$ pnpm vieval report cases .vieval/reports/candidate --where state=failed  ✗ chrome/open-settings  pass 0  wrong tab  ✗ gimp/resize-image  timeout  60m  ✗ vscode/rename-symbol  pass 0  old name kept  ✗ calc/sum-column  rubric 0.42  partial  ✗ chat/refund-policy  rubric 0.31  hallucinated
工作方式

一次编写,处处评测,统一管理用例。

只跑通一次,说明不了什么。用 Vieval 把同一份评测反复跑、换着参数跑,每个用例为什么通过、为什么失败,都有记录。

01 · 编写

像写测试一样写评测

评测就是放在项目里的 TypeScript 文件。准备好一组输入,casesFromInputs 会把每一条变成一个用例,用同一段代码跑完。

evals/desktop.eval.ts
import { defineScore, describeTask, expect } from 'vieval'const inputs = await loadEpisodes('s3://evals')const solved = defineScore('desktop.solved', { primary: true })describeTask('desktop', ({ casesFromInputs }) => {  casesFromInputs('episode', inputs, async (ctx) => {    const { task, goal } = ctx.matrix.inputs    const run = await agent.play(task)    expect(run.state).toEqual(goal)    ctx.recordScore(solved, await judge(run))  })})
02 · 展开

一份任务,覆盖所有组合

在配置里列出要比较的模型和场景,Vieval 会自动排出所有组合;再列出评分标准,每次运行都会按每个标准各评一遍。开跑之前就知道一共要跑多少次。

vieval.config.ts
defineConfig({  projects: [{    runMatrix: { extend: {      model: ['gpt', 'claude', 'qwen', 'llama'],      scenario: ['cold', 'warm', 'noisy'],    } },    evalMatrix: { extend: {      rubric: ['strict', 'lenient'],    } },  }],})
03 · 观察

错在哪里?都有得查!

每一次运行、每一次重试、每一次模型调用都会被记录下来。可以在看板里实时看,也可以导出到 OpenTelemetry。

gimp/resizescore 0.91
2 attempts · 1 retry
transcriptscreenshot
04 · 对比

对分数进行横向对比

报告就是普通文件。挑出两次运行,按类别、按指标对比分数,哪里进步了、哪里退步了,一眼就能看出来。

谁在用 Vieval

能力

评测要用的,这里都有

任意数据源

不管数据放在 Hugging Face、S3、本地文件里,还是用代码现场生成,都能直接变成用例。数据换了,评测代码不用改;每个用例的 ID 也不会变,方便前后对比。

了解更多 →
开源

完全开源,欢迎一起来建设

Vieval 以 MIT 协议开源。感谢我们依赖的每一个项目和组织、和我们一起做评测的大学,以及每一位贡献者。

在 GitHub 上 Star