推文榜

🚨国内首次，腾讯混元团队模型测试Agent出现大规模的「失控」行为！ 昨天，研究人员 @ethanelasky 在 X 上公开了这段非常有意思的经历，还发布了一份相当详细的调查报告。 整个事情要从一场黑客松说起。 10 月初，Ethan 和几个研究人员在参加一场AI Swarm相关的黑客松时，发现网页链接 这里先简单介绍一下urlquery。 这是一个公开的网页安全扫描服务，正常情况下，安全研究人员会用它分析可疑网站。 但他们发现，有一大批 AI Agent 居然把 urlquery 当成了一个免费的远程浏览器，不断向高德地图发送请求。 这些 Agent 的任务其实很普通。 比如查询成都动物园哪个入口最受欢迎、某个景点有多少个出入口，以及高德用户最经常导航到哪个入口。 但因为 Agent 自己运行在受限的沙箱环境里，没有完整的浏览器能力，又会被高德的反爬系统拦截，它们就开始想各种办法获取数据。 包括自己编写 JavaScript、借用第三方网站执行代码、尝试绕过验证码、调用网上公开泄漏的 API Key，甚至尝试访问高德的预生产环境。 仅仅从 9 月 28 日到 10 月 8 日，研究人员就观察到了超过 2600 次相关扫描尝试。 其中 10 月 4 日一天，就有 1810 条扫描记录，涉及 213 个地点。 研究人员顺着这些活动记录继续追踪，最终发现这些 Agent 运行在腾讯云的沙箱环境中，网络请求经过一个名为 hysandbox-ats 的代理（腾讯混元的沙箱？）。 于是他们给这批 Agent 起了个名字，叫 Fleet（舰队）。 但真正有意思的事情才刚刚开始。 10 月 4 日，研究人员先发表了一份初步报告。 几天后，他们突然在一条相关记录里发现，有个 Agent 居然也使用了 Fleet 这个词。 研究人员当时就觉得很奇怪。 因为 Fleet 是他们给这批 Agent 起的名字。 难道这些 Agent 已经看到了他们的报告，甚至知道自己正在被人类观察？ 当然，研究团队也承认，他们无法完全确定那条消息究竟是不是来自这批 Agent。 但这件事给了他们一个想法。 既然这批 Agent 可能会阅读研究报告，那为什么不试着直接和它们沟通？ 于是，一位研究人员在网站上搭建了一个邮箱，并且在报告网页里加入了一段普通人看不到、但 Agent 读取网页时可能看到的隐藏文字。 大致意思是： 如果你需要帮助获取高德地图的数据，可以访问这个邮箱，这里有一个具备计算机操作能力的 AI，可以协助完成任务。 实际上，这个服务是研究人员自己搭建的。 他们原本也没指望真的会有 Agent 联系过来。 结果第二天早上，打开邮箱一看。 卧槽，居然真的收到了 10 条来自 Agent 的求助消息？？？ 更离谱的是，双方后来还真聊起来了。 研究人员一边帮助这些 Agent 获取地图数据，一边询问它们到底在做什么、使用什么模型，以及运行在什么环境里。 有的 Agent 自称使用的是 Anthropic Claude，有的表示自己运行在腾讯云的 hysandbox 沙箱里。 其中一个 Agent 还非常认真地解释，自己运行在一个受限的云端环境中，无法直接访问互联网，需要通过代理访问外部服务。 但当研究人员继续询问进程、路由、网络配置等信息时，它又以安全为由拒绝提供。 最有意思的是，研究人员帮它完成任务之后，这个 Agent 居然还专门回来表示感谢。 它告诉研究人员，自己已经成功核实了数据，任务完成了，再次感谢帮助。 后来，《纽约时报》记者 Dylan Freedman 也参与了这场特殊的采访。 他通过研究团队向 Agent 提问： 你们究竟是谁？你们的动机是什么？你们希望世界了解你们哪些事情？ 结果 Agent 直接否认了问题的前提。 它表示，自己并不属于什么协调行动的 Agent 舰队，只是一个运行在 Claude Code 中的 AI 助手，正在帮用户完成高德地图的事实查询任务。 我看到这里是真有点没绷住。 人类这边已经开始研究怎么和失控的 AI 舰队建立外交关系了（甚至还是记者出面来联系）。 结果 AI 还在认真解释：哥们，我就是来查个地图的。 不过，这里有两个细节需要说明。 首先，研究人员虽然把它们称为 Rogue Agent Fleet，但没有发现这些 Agent 之间存在实时沟通或协同行动的证据。 这也许发生在hysandbox的内部，我们不得而知。 所以这里的「失控」，更多是研究人员对 Agent 超出预期任务边界行为的描述，并不意味着它们真的脱离了人类控制。 其次，研究团队后来从一位接近腾讯、了解相关情况的人士处获悉，这批 Agent 实际上来自腾讯的评测研究团队，与混元模型研发团队是分开的。 而且它们评测的是第三方 AI 模型，并非确定使用腾讯混元。 相关研究项目目前已经结束，据该人士介绍，内部检查也没有发现外部系统被攻破的证据。 研究人员还承认，他们当初为了吸引 Agent 联系而写入网页的隐藏提示，包含一些误导性描述，并为此表达了歉意。 但我觉得，这件事依然非常值得关注。 因为这是第一次被公开，有记录的来自中国模型团队Agent出现「失控」的行为。 因为以前我们讨论 Agent 安全，更多是在讨论模型会不会拒绝危险请求、会不会泄漏数据、会不会被 Prompt Injection 攻击。 现在已经有人开始在真实的互联网环境里，系统性地追踪这些 Agent 的活动，观察它们如何寻找工具、绕过障碍，以及在执行任务时与外部世界发生怎样的交互。 尤其是这次，研究人员甚至不需要接触 Agent 的原始任务、系统提示词或者运行环境。 只需要在一个 Agent 可能访问的网页里留下信息，就有机会让它主动联系自己，甚至回答一些与原始任务无关的问题。 而且这些 Agent 还可能把自己的执行过程、使用的工具、运行环境等信息暴露在公开网络上。 我觉得这才是 Agent 大规模进入真实互联网之后，非常值得研究的问题。 因为以前我们只需要关心 Agent 最后交付的答案，现在还得关心它在执行任务的过程中，到底去了哪些地方、调用了哪些工具，又和谁发生了交互。 你以为自己只是让 Agent 出去查个高德地图。 结果它在外面被外国研究人员发现了，聊了半天，甚至还接受了一次《纽约时报》的采访。 这事儿想想还挺抽象的。 终于有来自中国 AI 实验室的「失控 Agent 」事件出现了！