新基准 Taste-Bench 显示 AI 智能体长期决策能力不足
研究者提出 Taste-Bench,用智能体运行轨迹中的决策分叉点考察其长期决策质量,共 502 道二选一题。测试的 14 个模型中最好的 GPT-5.6 Sol 平均准确率 59.7%,GPT-5.5 为 59.5%,其余明显更低;当关键线索只在后续步骤才出现时,平均准确率降至 21%。
研究者提出 Taste-Bench,用智能体运行轨迹中的决策分叉点考察其长期决策质量,共 502 道二选一题。测试的 14 个模型中最好的 GPT-5.6 Sol 平均准确率 59.7%,GPT-5.5 为 59.5%,其余明显更低;当关键线索只在后续步骤才出现时,平均准确率降至 21%。
Latent Space 正在试播新节目 High Taste Testers,把旧金山的午餐闲聊搬上节目,首期从 Dev Day 聊到最新模型与助手,并汇总了 10/15/2026-10/16/2026 的 AI 新闻。
AWS 销售与市场团队基于 Amazon Bedrock AgentCore Evaluations 搭建了覆盖智能体全生命周期的九阶段评测框架,从定义质量标准、CI 回归门禁、CD 质量门到上线后金丝雀监控与漂移检测。
Meta 发布 Muse Spark Open,这是一个 816B 总参数、42B 激活的 MoE 模型,支持 1M token 上下文和文本、图像、视频、音频输入,权重以自定义 Muse Model License 发布。
Latent Space 的 AINews 汇总了 Gemini 4 Argon 正式开放使用的情况,覆盖 Gemini API、Gemini 应用、Search 的 AI Mode 和 Antigravity,介绍期 API 价格为每百万输入/输出 token 2/10 美元,缓存输入折扣 95%。
推荐理由:汇总 Gemini 4 Argon 发布后的定价、第三方评测与可靠性反馈,便于横向比较能力与成本。
微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 对谈,讨论评估如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的曲折经历,分享使用当前 AI 系统的实用建议,并强调结果偏离预期时应仔细检查数据。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征,构建了覆盖 19 种语言、219 个公开 PR 的评测集。