我们是否过度相信 AI 说“不”的能力
MIT Technology Review 发文质疑 AI 安全过度依赖“拒绝”机制:模型经训练可拒绝大量有害提示词,但拒绝是概率性的,仍会失败,且模型本身保留暴力与网络攻击等能力。文章指出,拒绝边界由 AI 公司秘密划定,政府也将介入,可能被用于压制合法言论。
MIT Technology Review 发文质疑 AI 安全过度依赖“拒绝”机制:模型经训练可拒绝大量有害提示词,但拒绝是概率性的,仍会失败,且模型本身保留暴力与网络攻击等能力。文章指出,拒绝边界由 AI 公司秘密划定,政府也将介入,可能被用于压制合法言论。
微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 对谈,讨论评估如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的曲折经历,分享使用当前 AI 系统的实用建议,并强调结果偏离预期时应仔细检查数据。
GitHub Copilot 应用推出 canvas,一种在应用内运行、无浏览器外壳的全栈小应用,可与 Copilot 智能体双向通信。官方演示用 canvas 做 Connect 4 对战、Winget 包管理和 SQLite 操作,并称让智能体造工具比反复用聊天消耗 token 更划算。canvas 可调用第三方 API 并本地执行代码,复杂工作流示例约需一天调好。