新基准 Taste-Bench 显示 AI 智能体长期决策能力不足
研究者提出 Taste-Bench,用智能体运行轨迹中的决策分叉点考察其长期决策质量,共 502 道二选一题。测试的 14 个模型中最好的 GPT-5.6 Sol 平均准确率 59.7%,GPT-5.5 为 59.5%,其余明显更低;当关键线索只在后续步骤才出现时,平均准确率降至 21%。
研究者提出 Taste-Bench,用智能体运行轨迹中的决策分叉点考察其长期决策质量,共 502 道二选一题。测试的 14 个模型中最好的 GPT-5.6 Sol 平均准确率 59.7%,GPT-5.5 为 59.5%,其余明显更低;当关键线索只在后续步骤才出现时,平均准确率降至 21%。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征,构建了覆盖 19 种语言、219 个公开 PR 的评测集。