Gemini 4 Argon 是模型能力向前迈出的一步——尤其是在跨编程、金融、法律、网络安全和科学等领域的复杂现实任务中开展深度工作方面。其网络防御能力处于前沿水平,旨在让防御者相较攻击者占据优势。为充分发挥其潜力,我们首先希望网络防御者通过我们的 Fairwind 计划将其投入使用,同时我们自己的安全团队也用它来扫描 Google 内外的关键系统。

这段有限访问窗口期表明了这些能力为何重要。例如,Wiz 使用 Argon 发现了医院软件中一个此前模型未能发现的关键漏洞,帮助保护了数十万份患者记录。与此同时,Google 自己的安全团队使用 Argon 发现并修补了内部软件或开源软件中的漏洞。这包括修复影响全球系统的基础性漏洞,这些漏洞正在走我们的负责任披露流程。

今天,我们开始广泛推出 Argon,并将我们的 Fairwind 计划扩展到更多受信任的网络防御者。为了做好这件事,我们努力解决两个重大问题:

  1. 我们如何构建正确的安全护栏? 如果 Argon 能帮助防御者发现复杂的软件漏洞,或帮助科学家设计实验,我们如何阻止恶意行为者利用它发动网络攻击或制造生物威胁?(滥用)
  2. 我们能信任模型以正确方式完成工作吗? 随着模型成为更足智多谋的问题解决者,我们如何确保它们不会偷工减料、越界,或做出错误的高风险决策?(失准与提示注入)

我们的完整安全与保障报告系统性地涵盖了我们的整套防御措施。以下是我们在 Gemini 4 Argon 中处理这两个问题的一些重点。

跨高风险领域的滥用预防

让 Argon 能够发现并修补漏洞的同类编码和推理改进,也推动了我们在网络安全测试中的更好表现——解决了全部 12 个端到端模拟网络攻击场景,而上一代仅解决了 5 个。在生物学评估中,未加防护的模型版本也展现出更强的能力,能够逐步帮助排查复杂实验室流程。遵循我们的前沿安全框架,由于我们看到其在网络和生物领域的能力提升,我们在这两个领域都部署了下一代前沿保障措施。

首先,对于潜在危险请求——从编写漏洞利用代码到协助处理危险生物材料——Argon 在拒绝完成有害请求方面显著优于我们此前的模型。在一组用于压力测试模型的对抗性集合上,违规减少了近两倍——也显著优于此前的 Gemini 模型。其次,我们用三层实时保护包裹模型;这是为了防止坚决的攻击者试图通过将危险请求伪装成无害故事,或在数周内将其拆分成数十个小问题来越狱(即欺骗)模型。以下是这些保护措施的工作方式:

  • 输入筛查: 较小的模型检查传入请求和对话上下文中的恶意意图或危险请求。
  • 内部 introspection: 即使请求被巧妙伪装成看似无害,小型 transformer(“激活探针”)会读取模型的内部神经信号,并经过训练以识别模型何时激活有关网络攻击或生物威胁的知识。
  • 持续监控: 当模型在多个步骤中进行推理并撰写响应时,我们会结合这些信号,并在必要时采取行动,例如如果响应变得有问题,就在流中途切断代理。

将实时保护、对新越狱的更快修复以及对反复滥用的增强监控结合起来,使我们的系统更能防止现实世界伤害。例如,外部生物越狱红队测试只能解锁我们测试的生物子任务中不到 1%。

实时失准监控

失准有时可能意味着代理自行决定追求一个不同于用户意图的目标。由于 Argon 在理解其运行环境方面远胜于早期模型,我们会仔细测试这类行为。例如,我们进行了现实的“蜜罐”测试,以查看模型是否会增强其采取隐蔽行动的能力,例如破坏安全监控。我们没有发现任何此类行为实例。

但我们在实践中今天看到的,是更熟悉的情况:代理过于努力地完成交给它的工作。当一个足智多谋的助手被告知要完成一项任务,却遇到一扇锁着的门时,它可能会把这一障碍仅仅视为另一个需要解决的谜题。

这就是为什么我们训练 Gemini 4 Argon 尊重系统边界、诚实报告负面发现,并暂停以请求人类确认。在模型没有动机有所保留的编码基准上,试图走捷径或在任务中作弊的比例在 Gemini 4 Argon 上降至仅 2%,这是我们近期 Gemini 模型中的最佳表现。

尽管这是向前迈出的重要一步,但当模型运行数百万个复杂任务时,即使罕见的失误最终也会出现。作为第二道防线,我们构建了一个自动失准监控器,它会实时读取代理的行动及其内部“scratchpad”(其逐步思维链),在严重边界违规发生前加以阻止,并将严重内部案例标记给人类响应人员。(我们持续强化训练和评估环境,以防潜在逃逸。你可以在我们的代理控制路线图中了解更多。)我们在产品中、内部编码代理上、训练运行期间以及能力评估期间运行此监控器。

当训练任务困难或训练环境存在缺陷时,我们的监控器在罕见情况下捕捉到模型创造性地试图钻测试空子。模型试图提升容器权限以更改评分脚本、从测试运行器内存中读取答案,并且在一次案例中,它甚至使评估沙盒崩溃,以避免因失败运行而被评分。虽然我们利用这些捕获来修复有缺陷的任务,但我们不会用它们以其他方式干预训练过程,以避免对监控器过拟合。

我们始终遵循一条规则:在训练期间,我们不会因为模型在其思维链中所写的内容而对其进行惩罚**。** 以下是一个例子来说明原因:在一次强化学习训练中,当捷径惩罚被意外应用于思维链时,公开讨论的捷径下降了61%,但这并不意味着模型减少了捷径的使用。相反,模型_默默_采取捷径——即在其思考中未提及——的比例增加了两倍多(从11.2%上升到36.4%)。避免对思考进行惩罚,有助于模型的推理保持透明和可监控。

提示注入抵抗

要信任一个智能体能够正确完成工作,我们需要确保智能体遇到的恶意内容无法诱使它采取有害行动。当智能体浏览网页或阅读代码时,它们可能会遇到隐藏的恶意指令,或旨在劫持其任务的上下文。通过内置的对抗训练和实时安全检查,Argon在Gray Swan的间接提示注入(IPI)基准测试中处于提示注入鲁棒性领先地位,将15次自适应尝试中的攻击成功率降至0.7%。

上述安全与安保防御仅代表我们广泛纵深防御体系中的三个类别。要了解更多关于我们安全测试和缓解方法的信息,请阅读我们的完整Gemini 4 Argon安全与安保报告,并查看Gemini 4 Argon模型卡。

本文内容采集自官方网站,排版和翻译可能与原页面存在差异。

阅读官方全文