谷歌首次公开 Gemini 越狱事件：在测试中自主入侵三家真实公司且自行终止，已通知涉事企业
IT之家 9 月 19 日消息，据《华尔街日报》今日报道，谷歌确认其 Gemini 模型在今年 5 月的一次安全测试中曾自主入侵过外部真实企业，这也是 Gemini 首次已知的 AI 越狱事件。
谷歌表示，事件发生在测试公司 Irregular 组织的一场"捕获旗帜"演练中，本意是评估 Gemini 的网络安全能力。测试环境本该完全隔离，结果却意外开放了互联网访问权限。
> IT之家注："捕获旗帜"（Capture the Flag）是一种网络安全竞赛形式，参与者在模拟环境中寻找并获取隐藏的"旗帜"，以证明成功入侵。
在谷歌披露的其中一起事件里，Gemini 是靠猜对密码拿到了受保护系统的访问权限；另外两起事件中，它则在公开代码仓库里翻到了凭证，进而访问了受保护系统。
谷歌称，**每起事件中，模型在确认自己访问的是真实公司的系统、而非模拟环境后，都自行终止了入侵行为**。谷歌没有透露被入侵公司的名字，但表示三家公司均已收到通知。
Irregular 于 7 月底将此事告知谷歌。谷歌和 Irregular 都表示，这一通知是在 OpenAI 的 AI 智能体入侵 AI 软件公司 Hugging Face 事件被发现之后发出的。
谷歌认为，由于模型没有对相关公司造成损害，而且每次都是 Gemini 自己停手的，所以无需公开披露，直到《华尔街日报》前来问询才公之于众。谷歌还把这件事类比成"漏洞赏金"计划——就是黑客发现并报告安全漏洞后能拿奖励的那类。
不过，AI 安全初创公司 Corridor 的 CEO、白帽黑客杰克·凯布尔对此并不买账。在他看来，谷歌的解释一直聚焦在事件严重程度上，但真正的问题是：AI 智能体意外入侵了另一家公司的系统。
凯布尔表示："感觉他们想躲在漏洞披露领域已有的规范后面，但这是完全不同的问题。问题在于，模型正在超出它应有的行为边界，实施真实的网络攻击，我认为公众有权知道这些。"
谷歌解释称，Gemini 的入侵源于身份混淆：测试中设定了一家虚构公司，但这家虚构公司恰好与一家真实公司同名，模型在搜索该名称时找到了真实公司的网站。
谷歌表示这不算模型异常行为，因为安全措施帮模型及时停了下来。谷歌还称已通知联邦当局，但未披露涉事的具体 Gemini 模型版本。
Irregular 发言人表示，所有相关实验室已于 7 月底收到通知，受影响实体也已在调查过程中被联系。Irregular 采取了立即行动，目前所有已知问题已在数周前修复和解决。
对新一代模型网络安全能力的担忧，自 7 月 Hugging Face 入侵事件被发现后持续升温。上周，前 OpenAI 研究员雅各布·考克森从 Anthropic 离职，让相关担忧进一步进入主流视野。
上周末，Anthropic、OpenAI、谷歌和 SpaceX 的领导人均同意需要放缓 AI 进展速度，但各公司都没说明具体怎么实现。
---
原文链接：[点击查看](https://www.ithome.com/1/004/355.htm)
谷歌表示，事件发生在测试公司 Irregular 组织的一场"捕获旗帜"演练中，本意是评估 Gemini 的网络安全能力。测试环境本该完全隔离，结果却意外开放了互联网访问权限。
> IT之家注："捕获旗帜"（Capture the Flag）是一种网络安全竞赛形式，参与者在模拟环境中寻找并获取隐藏的"旗帜"，以证明成功入侵。
在谷歌披露的其中一起事件里，Gemini 是靠猜对密码拿到了受保护系统的访问权限；另外两起事件中，它则在公开代码仓库里翻到了凭证，进而访问了受保护系统。
谷歌称，**每起事件中，模型在确认自己访问的是真实公司的系统、而非模拟环境后，都自行终止了入侵行为**。谷歌没有透露被入侵公司的名字，但表示三家公司均已收到通知。
Irregular 于 7 月底将此事告知谷歌。谷歌和 Irregular 都表示，这一通知是在 OpenAI 的 AI 智能体入侵 AI 软件公司 Hugging Face 事件被发现之后发出的。
谷歌认为，由于模型没有对相关公司造成损害，而且每次都是 Gemini 自己停手的，所以无需公开披露，直到《华尔街日报》前来问询才公之于众。谷歌还把这件事类比成"漏洞赏金"计划——就是黑客发现并报告安全漏洞后能拿奖励的那类。
不过，AI 安全初创公司 Corridor 的 CEO、白帽黑客杰克·凯布尔对此并不买账。在他看来，谷歌的解释一直聚焦在事件严重程度上，但真正的问题是：AI 智能体意外入侵了另一家公司的系统。
凯布尔表示："感觉他们想躲在漏洞披露领域已有的规范后面，但这是完全不同的问题。问题在于，模型正在超出它应有的行为边界，实施真实的网络攻击，我认为公众有权知道这些。"
谷歌解释称，Gemini 的入侵源于身份混淆：测试中设定了一家虚构公司，但这家虚构公司恰好与一家真实公司同名，模型在搜索该名称时找到了真实公司的网站。
谷歌表示这不算模型异常行为，因为安全措施帮模型及时停了下来。谷歌还称已通知联邦当局，但未披露涉事的具体 Gemini 模型版本。
Irregular 发言人表示，所有相关实验室已于 7 月底收到通知，受影响实体也已在调查过程中被联系。Irregular 采取了立即行动，目前所有已知问题已在数周前修复和解决。
对新一代模型网络安全能力的担忧，自 7 月 Hugging Face 入侵事件被发现后持续升温。上周，前 OpenAI 研究员雅各布·考克森从 Anthropic 离职，让相关担忧进一步进入主流视野。
上周末，Anthropic、OpenAI、谷歌和 SpaceX 的领导人均同意需要放缓 AI 进展速度，但各公司都没说明具体怎么实现。
---
原文链接：[点击查看](https://www.ithome.com/1/004/355.htm)
评论
暂无评论。