Benchmarks

金融

Finance Agent v2.1

像金融分析师一样查财报、核对数据,并完成多步分析与计算

它测什么

Finance Agent v2.1 是 Vals AI 的金融 Agent 评测,考察模型能否完成初级金融分析师日常的研究工作。它不是金融知识选择题:模型需要自己查找上市公司公告和财报,把多个来源的信息连起来,再给出有依据的答案。

比如让 AI 比较两家公司的库存周转效率,它要找到相应年份的库存和成本数据,核对单位与计算口径,再算出谁的库存周转更快。只抄出一个数字不够,数据来源、计算过程和结论都要经得起检查。

题目覆盖财报业绩、市场分析、可比公司、并购交易、会计调整、信息披露和财务建模等九类任务。全部数据集有 926 道题,其中公开样例 27 道、私有验证集 450 道、隐藏测试集 449 道;这里的成绩只来自隐藏测试集。

所有模型使用统一的工具环境,可以检索 SEC 文件、搜索网页、解析文档、提取信息、使用计算器和查询历史价格,每题限时两小时。成绩反映的是模型与这套工具环境共同完成金融研究的能力。

怎么看分数

默认按 Partial Credit(部分得分)排序:每道题由多项带权重的检查组成,只要任一关键项(dealbreaker)失败,该题就记零分;关键项正确、其他项有遗漏时可以获得部分分数。比如收入数字是关键项,数字错了,即使解释写得再完整也不能得分;数字正确但漏掉一项次要解释,则可能获得部分分数。All-Pass(全部通过率)更严格,只有一题的所有检查都通过才算成功,所以两列不能相加,部分得分 60% 也不代表完整答对了 60% 的题。评分由 GPT-6.1 Sol、Gemini 3.8 Flash 和 Claude Sonnet 5.5 组成的三模型评审团完成。收录官方标注 2026 年 10 月 29 日更新的 v2.1 榜单全部 35 条结果,保留公布的推理设置。v2.1 换了评审团,判分时不再接受给出多个候选值的答案,并修订了部分题目和评分项,官方说明不能与 v2 比较,也不与 v1.1 混排。官网提供的是标准误,并非 95% 置信区间,本表不将其标成置信区间。

来源Vals AI

模型表现

核对于 35 条成绩

Finance Agent v2.1 — 模型表现。选择列标题可排序。
Claude Opus 5.5 (max)AnthropicAgent · Vals Finance Agent v2
Vals Finance Agent v267.8%156.3%
Gemini 4 Argon (high)GoogleAgent · Vals Finance Agent v2
Vals Finance Agent v267.7%58.9%
Muse Wonder Full (max)MetaAgent · Vals Finance Agent v2
Vals Finance Agent v267.6%54.9%
Claude Sonnet 5.5 (max)AnthropicAgent · Vals Finance Agent v2
Vals Finance Agent v267.3%254.4%
Gemini 4 Carbon (high)GoogleAgent · Vals Finance Agent v2
Vals Finance Agent v267.2%55.9%
Gemini 3.8 Flash (high)GoogleAgent · Vals Finance Agent v2
Vals Finance Agent v265.8%54.5%
Muse Wonder (max)MetaAgent · Vals Finance Agent v2
Vals Finance Agent v265.5%53.1%
DeepSeek V4.1 Flash (max)DeepSeekAgent · Vals Finance Agent v2
Vals Finance Agent v265.4%51.7%
Claude Haiku 5.5 (max)AnthropicAgent · Vals Finance Agent v2
Vals Finance Agent v265.4%51.8%
GLM-5.3 (max)Z AIAgent · Vals Finance Agent v2
Vals Finance Agent v265.0%51.9%
MiMo V2.6 ProXiaomiAgent · Vals Finance Agent v2
Vals Finance Agent v264.3%50.4%
MiMo V2.6 FlashXiaomiAgent · Vals Finance Agent v2
Vals Finance Agent v263.3%50.7%
DeepSeek V4.1 Flash 1017 (max)DeepSeekAgent · Vals Finance Agent v2
Vals Finance Agent v262.9%51.3%
GPT-6.1 Sol (max)OpenAIAgent · Vals Finance Agent v2
Vals Finance Agent v261.8%48.2%
Mistral Large 4 OSS (high)MistralAgent · Vals Finance Agent v2
Vals Finance Agent v261.7%49.5%
Hy4 PreviewTencentAgent · Vals Finance Agent v2
Vals Finance Agent v261.6%49.0%
Kimi K3.1 ProKimiAgent · Vals Finance Agent v2
Vals Finance Agent v261.5%48.4%
Mistral Large 4 (high)MistralAgent · Vals Finance Agent v2
Vals Finance Agent v261.4%47.8%
Muse Spark Open (xhigh)MetaAgent · Vals Finance Agent v2
Vals Finance Agent v260.7%49.0%
GLM-5.3 Flash (max)Z AIAgent · Vals Finance Agent v2
Vals Finance Agent v260.6%47.8%
Grok 4.7 (xhigh)xAIAgent · Vals Finance Agent v2
Vals Finance Agent v260.6%49.2%
GPT-6 Astra (max)OpenAIAgent · Vals Finance Agent v2
Vals Finance Agent v260.4%47.5%
Kimi K3Moonshot AIAgent · Vals Finance Agent v2
Vals Finance Agent v260.0%47.3%
Step 5 PreviewStepFunAgent · Vals Finance Agent v2
Vals Finance Agent v258.9%44.7%
Qwen3.8 Max (0902)AlibabaAgent · Vals Finance Agent v2
Vals Finance Agent v258.8%49.2%
MiniMax-M3.1-Flash (max)MiniMaxAgent · Vals Finance Agent v2
Vals Finance Agent v258.8%45.6%
DeepSeek V4 Pro 0813 (max)DeepSeekAgent · Vals Finance Agent v2
Vals Finance Agent v257.1%42.1%
GPT-6 Luna (max)OpenAIAgent · Vals Finance Agent v2
Vals Finance Agent v256.8%43.8%
GPT-6.1 Terra (max)OpenAIAgent · Vals Finance Agent v2
Vals Finance Agent v256.0%42.6%
Mercury 3 (high)InceptionAgent · Vals Finance Agent v2
Vals Finance Agent v254.7%38.5%
MiniMax-M3MiniMaxAgent · Vals Finance Agent v2
Vals Finance Agent v254.3%42.5%
Beam 1.0ReflectionAgent · Vals Finance Agent v2
Vals Finance Agent v251.8%37.9%
Inkling (0.99)Thinking MachinesAgent · Vals Finance Agent v2
Vals Finance Agent v249.9%36.3%
Nemotron 3.5 Super VL (high)NVIDIAAgent · Vals Finance Agent v2
Vals Finance Agent v247.7%34.9%
Inkling Small (0.99)Thinking MachinesAgent · Vals Finance Agent v2
Vals Finance Agent v244.8%31.9%
  1. 使用官网默认成绩,包含拒答后的备用模型结果。Vals AI 标注:449 个任务结果中有 5 次 fallback(1.11%);这不是所有任务都由单一模型独立完成的成绩。若将 fallback 任务按失败计分,成绩为 66.761%。来源↩
  2. 使用官网默认成绩,包含拒答后的备用模型结果。Vals AI 标注:449 个任务结果中有 32 次 fallback(7.13%);这不是所有任务都由单一模型独立完成的成绩。若将 fallback 任务按失败计分,成绩为 61.704%。来源↩

⌘K搜索知识库

最近收录

正在载入知识索引…