Skip to content
Vieval

为什么选择 Vieval ​

把业务代码与评测代码纳入同一套工程流程,开发者修改业务行为时,就能同步评审和更新相关评测,并用版本控制记录两者的变化。Vieval 为 TypeScript 工程提供这套评测工作流。

重复运行一项评测需要哪些步骤 ​

单独调用一次评测函数,只能得到当次结果。要在不同时间或不同配置下重复评测,还需要确定要加载哪些文件、怎样组合变量、按什么顺序调度任务,以及执行后保存哪些用例结果和事件记录。

Vieval 的运行器(runner)负责发现评测文件、组合矩阵变量和调度任务。执行期间,它汇总断言结果、分数与指标,并写入后续分析和比较所需的文件。评测任务仍由普通 TypeScript 代码定义,同一个任务可以重复执行,也可以在多组模型和场景配置下执行。

按用途选择输出格式 ​

评测运行时,CLI 默认显示便于阅读的进度和摘要。Vieval 还会默认把可供分析、比较或自动化脚本读取的报告写入配置文件旁边的 .vieval/reports;--report-out <directory> 修改报告根目录,--no-report 关闭报告。传入 --json 后,标准输出会改为机器可读的结果。无论选择哪种输出,Vieval 都会使用同一套发现、调度和执行流程。

适合的场景 ​

以下需求适合使用 Vieval:

  • 需要在 TypeScript 仓库中编写评测,并与业务改动一起评审;
  • 同一个任务需要按模型、场景、评分标准或数据集变量执行;
  • 本地运行与自动化脚本需要采用相同的任务发现和调度规则;
  • 用例的断言结果、分数、指标与事件记录需要写入报告目录,供后续检查。

不适合的场景 ​

Vieval 不负责托管数据集,也不提供数据标注界面或 SaaS 可观测性服务。评测代码可以读取外部数据或调用远程模型;数据集托管、标注和可观测性需要交给相应的专用服务。