综合能力
Vals Index
综合金融、编程、法律与税务任务,按行业经济权重衡量 Agent 的工作能力
它测什么
Vals Index 是 Vals AI 汇总真实工作任务表现的综合指数,目前采用 v2.2 版本。它包含金融、编程、法律和税务四个领域:金融看财报研究与 Excel 财务建模,编程看终端任务、应用开发与代码迁移,法律看检索研究和长流程法律工作,税务看研究级的美国企业税务问题。
你可以把它理解成一张有不同科目权重的成绩单:先算出每个领域的平均分,再把四个领域合成总分。金融权重最高,所以两个模型即使编程成绩接近,也可能因为财务研究和建模能力不同而拉开总分。
金融由 Finance Agent v2.1 和 Excel Modeling Benchmark v1.1 组成,编程由 Terminal-Bench 4.0、Vibe Code Bench v1.1 和 Code Migration v1.1 组成,法律由 Legal Research Bench 和 HLAB-Vals-1.1(Harvey 的 Legal Agent Benchmark)组成,税务由 Tax Agent Bench 单独构成。权重参考对应行业在美国 GDP 中的占比:金融与保险 8.0、信息行业 5.6、法律服务 1.2、会计与报税服务 0.5,合计 15.3;归一化后约为 52.3%、36.6%、7.8% 和 3.3%。
怎么看分数
分数越高,表示在这组任务和权重下的综合表现越好。计算方式为(8 × 金融平均分 + 5.6 × 编程平均分 + 1.2 × 法律平均分 + 0.5 × 税务得分)÷ 15.3。例如四个领域分别得 60、80、40、50 分,综合指数约为 65.4%。它不是所有任务的简单正确率,也不表示已经能替代相同比例的岗位或创造相同比例的 GDP。收录官方标注 2026 年 10 月 29 日更新的 v2.2 榜单全部 32 条模型成绩,保留官方公布的推理设置。v2.2 把 Finance Agent 升到 v2.1、EMB 升到 v1.1、Code Migration 升到 v1.1,把 HLAB 换成 HLAB-Vals-1.1,并把 Tax Agent Bench 改用全部通过率计分;不同版本的组成与权重会变化,不宜直接比较。Code Migration 在此指数中使用固定子集:50 个 CLI 迁移任务和全部 10 个 COBOL 任务,按 75% / 25% 加权,不能直接拿其完整榜单总分替代。表中保留官方综合分,不用本站其他评测的分数重新拼算;来源中的标准误也不作为 95% 置信区间展示。
来源Vals AI
模型表现
Claude Sonnet 5.5 (max)Anthropic | 70.9%1 |
|---|---|
Gemini 4 Carbon (high)Google | 70.4% |
Claude Opus 5.5 (max)Anthropic | 70.2%2 |
Gemini 4 Argon (high)Google | 69.2% |
Muse Wonder Full (max)Meta | 66.8% |
GPT-6 Astra (max)OpenAI | 65.0% |
Muse Wonder (max)Meta | 64.9% |
GPT-6.1 Sol (max)OpenAI | 63.9% |
Kimi K3.1 ProKimi | 62.5% |
DeepSeek V4.1 Flash 1017 (max)DeepSeek | 61.3% |
GPT-6.1 Terra (max)OpenAI | 60.5% |
GLM-5.3 (max)Z AI | 59.7% |
Qwen3.8 Max (0902)Alibaba | 59.0% |
Claude Haiku 5.5 (max)Anthropic | 58.7%3 |
Grok 4.7 (xhigh)xAI | 58.6% |
MiMo V2.6 ProXiaomi | 57.8% |
Mistral Large 4 OSS (high)Mistral | 56.4% |
Gemini 3.8 Flash (high)Google | 56.0%4 |
MiMo V2.6 FlashXiaomi | 54.8% |
Step 5 PreviewStepFun | 54.8% |
MiniMax-M3.1-Flash (max)MiniMax | 53.8% |
Hy4 PreviewTencent | 53.2% |
DeepSeek V4 Pro 0813 (max)DeepSeek | 53.0% |
Kimi K3Moonshot AI | 53.0% |
GPT-6 Luna (max)OpenAI | 52.3%5 |
GLM-5.3 Flash (max)Z AI | 50.9% |
Muse Spark Open (xhigh)Meta | 48.6% |
Mercury 3 (high)Inception | 43.7%6 |
Beam 1.0Reflection | 43.4% |
Nemotron 3.5 Super VL (high)NVIDIA | 29.7% |
Inkling (0.99)Thinking Machines | 29.0% |
Inkling Small (0.99)Thinking Machines | 27.6% |