Benchmarks

综合能力

Vals Index

综合金融、编程、法律与税务任务,按行业经济权重衡量 Agent 的工作能力

它测什么

Vals Index 是 Vals AI 汇总真实工作任务表现的综合指数,目前采用 v2.2 版本。它包含金融、编程、法律和税务四个领域:金融看财报研究与 Excel 财务建模,编程看终端任务、应用开发与代码迁移,法律看检索研究和长流程法律工作,税务看研究级的美国企业税务问题。

你可以把它理解成一张有不同科目权重的成绩单:先算出每个领域的平均分,再把四个领域合成总分。金融权重最高,所以两个模型即使编程成绩接近,也可能因为财务研究和建模能力不同而拉开总分。

金融由 Finance Agent v2.1 和 Excel Modeling Benchmark v1.1 组成,编程由 Terminal-Bench 4.0、Vibe Code Bench v1.1 和 Code Migration v1.1 组成,法律由 Legal Research Bench 和 HLAB-Vals-1.1(Harvey 的 Legal Agent Benchmark)组成,税务由 Tax Agent Bench 单独构成。权重参考对应行业在美国 GDP 中的占比:金融与保险 8.0、信息行业 5.6、法律服务 1.2、会计与报税服务 0.5,合计 15.3;归一化后约为 52.3%、36.6%、7.8% 和 3.3%。

怎么看分数

分数越高,表示在这组任务和权重下的综合表现越好。计算方式为(8 × 金融平均分 + 5.6 × 编程平均分 + 1.2 × 法律平均分 + 0.5 × 税务得分)÷ 15.3。例如四个领域分别得 60、80、40、50 分,综合指数约为 65.4%。它不是所有任务的简单正确率,也不表示已经能替代相同比例的岗位或创造相同比例的 GDP。收录官方标注 2026 年 10 月 29 日更新的 v2.2 榜单全部 32 条模型成绩,保留官方公布的推理设置。v2.2 把 Finance Agent 升到 v2.1、EMB 升到 v1.1、Code Migration 升到 v1.1,把 HLAB 换成 HLAB-Vals-1.1,并把 Tax Agent Bench 改用全部通过率计分;不同版本的组成与权重会变化,不宜直接比较。Code Migration 在此指数中使用固定子集:50 个 CLI 迁移任务和全部 10 个 COBOL 任务,按 75% / 25% 加权,不能直接拿其完整榜单总分替代。表中保留官方综合分,不用本站其他评测的分数重新拼算;来源中的标准误也不作为 95% 置信区间展示。

来源Vals AI

查看金融分项:Finance Agent v2.1

模型表现

核对于 32 条成绩

Vals Index — 模型表现。选择列标题可排序。
Claude Sonnet 5.5 (max)Anthropic
70.9%1
Gemini 4 Carbon (high)Google
70.4%
Claude Opus 5.5 (max)Anthropic
70.2%2
Gemini 4 Argon (high)Google
69.2%
Muse Wonder Full (max)Meta
66.8%
GPT-6 Astra (max)OpenAI
65.0%
Muse Wonder (max)Meta
64.9%
GPT-6.1 Sol (max)OpenAI
63.9%
Kimi K3.1 ProKimi
62.5%
DeepSeek V4.1 Flash 1017 (max)DeepSeek
61.3%
GPT-6.1 Terra (max)OpenAI
60.5%
GLM-5.3 (max)Z AI
59.7%
Qwen3.8 Max (0902)Alibaba
59.0%
Claude Haiku 5.5 (max)Anthropic
58.7%3
Grok 4.7 (xhigh)xAI
58.6%
MiMo V2.6 ProXiaomi
57.8%
Mistral Large 4 OSS (high)Mistral
56.4%
Gemini 3.8 Flash (high)Google
56.0%4
MiMo V2.6 FlashXiaomi
54.8%
Step 5 PreviewStepFun
54.8%
MiniMax-M3.1-Flash (max)MiniMax
53.8%
Hy4 PreviewTencent
53.2%
DeepSeek V4 Pro 0813 (max)DeepSeek
53.0%
Kimi K3Moonshot AI
53.0%
GPT-6 Luna (max)OpenAI
52.3%5
GLM-5.3 Flash (max)Z AI
50.9%
Muse Spark Open (xhigh)Meta
48.6%
Mercury 3 (high)Inception
43.7%6
Beam 1.0Reflection
43.4%
Nemotron 3.5 Super VL (high)NVIDIA
29.7%
Inkling (0.99)Thinking Machines
29.0%
Inkling Small (0.99)Thinking Machines
27.6%
  1. 使用官网默认成绩,包含拒答后的备用模型结果。Vals AI 标注:1,380 个任务结果中有 55 次 fallback(3.99%);这不是所有任务都由单一模型独立完成的成绩。另有 3 次提供商拒答(0.22%),按失败计分。若将 fallback 任务按失败计分,成绩为 69.028%。来源↩
  2. 使用官网默认成绩,包含拒答后的备用模型结果。Vals AI 标注:1,380 个任务结果中有 37 次 fallback(2.68%);这不是所有任务都由单一模型独立完成的成绩。另有 12 次提供商拒答(0.87%),按失败计分。若将 fallback 任务按失败计分,成绩为 68.182%。来源↩
  3. Vals AI 标注:1,380 个任务结果中有 3 次提供商拒答(0.22%),按失败计分。来源↩
  4. Vals AI 标注:1,380 个任务结果中有 3 次提供商拒答(0.22%),按失败计分。来源↩
  5. Vals AI 标注:1,380 个任务结果中有 1 次提供商拒答(0.07%),按失败计分。来源↩
  6. Vals AI 标注:1,380 个任务结果中有 2 次提供商拒答(0.14%),按失败计分。来源↩

⌘K搜索知识库

最近收录

正在载入知识索引…