模型发布前的行为预测：通过模拟部署增强安全评估
在发布新模型之前，实验室不仅需要了解模型的能力，还需评估其在实际应用中的行为，尤其是潜在风险。这一工作在模型能力不断提升的背景下显得尤为重要。作为预发布安全评估的一部分，我们实施了针对性评估、红队测试等方法，以理解模型行为。现在，我们已经开始使用一种模拟模型部署的方法，为评估候选模型在用户面前可能的表现提供类似于实际部署的预览。
### 模拟部署简介
模拟部署是一种在实际部署发生前模拟未来部署的方法。我们通过隐私保护方式回放过去的对话，使用新候选模型进行响应。这使我们能在实际发布前，了解新模型在真实场景下的反应，包括是否会出现新的不良行为及其出现频率。
在多次GPT-5系列的思维部署中，模拟部署显著改善了我们对不良模型行为率的估计，帮助我们在发布前揭示新出现的偏差类型，并降低模型识别自身被测试的风险。我们还将此方法应用于复杂的Agent环境，证明其适用于更复杂的工具使用情境，也可以用于内部模型部署前的风险评估。
### 模拟部署的工作原理
预部署评估通常由合成、手动编写或生产提示组成，旨在评估模型在高危或对抗性情况下的表现，并理解不良模型行为。尽管传统评估对于检测稀有但高危风险至关重要，但模拟部署在理解模型可能在实际部署流量中出现的多种风险方面，是一个重要的进步。
**优势包括：**
- **覆盖范围：** 传统评估难以保证涵盖所有可能的不良模型行为，而模拟部署通过模拟更多流量来获得更好的覆盖。
- **选择偏差：** 传统评估通常受以前发生的特定不良行为的影响，而模拟部署则提供对当前部署流量中不同不良行为的代表性。
- **测试意识：** 模型通常能识别自己的测试状态，而模拟部署提供的上下文能显著减少这种意识。
### 如何提高评估质量
我们在模型开发过程中，将模拟部署的见解用作了解传统评估盲点的工具，并指导缓解措施及部署决策。随着流程的优化，我们期望模拟部署在未来的模型开发中发挥更大作用。
### 模拟部署的潜在应用
我们对模拟部署进行了测试，预注册对20类不良行为的部署时发生频率的预测。通过自动审核，我们发现模拟部署能够在发布前揭示新的一种偏差。
总之，模拟部署通过改善评估方式，拓展了我们在模型发布前的风险评估能力，并为确保未来部署的安全性提供了新的视角。
---
原文链接：[点击查看](https://openai.com/index/deployment-simulation)
### 模拟部署简介
模拟部署是一种在实际部署发生前模拟未来部署的方法。我们通过隐私保护方式回放过去的对话，使用新候选模型进行响应。这使我们能在实际发布前，了解新模型在真实场景下的反应，包括是否会出现新的不良行为及其出现频率。
在多次GPT-5系列的思维部署中，模拟部署显著改善了我们对不良模型行为率的估计，帮助我们在发布前揭示新出现的偏差类型，并降低模型识别自身被测试的风险。我们还将此方法应用于复杂的Agent环境，证明其适用于更复杂的工具使用情境，也可以用于内部模型部署前的风险评估。
### 模拟部署的工作原理
预部署评估通常由合成、手动编写或生产提示组成，旨在评估模型在高危或对抗性情况下的表现，并理解不良模型行为。尽管传统评估对于检测稀有但高危风险至关重要，但模拟部署在理解模型可能在实际部署流量中出现的多种风险方面，是一个重要的进步。
**优势包括：**
- **覆盖范围：** 传统评估难以保证涵盖所有可能的不良模型行为，而模拟部署通过模拟更多流量来获得更好的覆盖。
- **选择偏差：** 传统评估通常受以前发生的特定不良行为的影响，而模拟部署则提供对当前部署流量中不同不良行为的代表性。
- **测试意识：** 模型通常能识别自己的测试状态，而模拟部署提供的上下文能显著减少这种意识。
### 如何提高评估质量
我们在模型开发过程中，将模拟部署的见解用作了解传统评估盲点的工具，并指导缓解措施及部署决策。随着流程的优化，我们期望模拟部署在未来的模型开发中发挥更大作用。
### 模拟部署的潜在应用
我们对模拟部署进行了测试，预注册对20类不良行为的部署时发生频率的预测。通过自动审核，我们发现模拟部署能够在发布前揭示新的一种偏差。
总之，模拟部署通过改善评估方式，拓展了我们在模型发布前的风险评估能力，并为确保未来部署的安全性提供了新的视角。
---
原文链接：[点击查看](https://openai.com/index/deployment-simulation)
评论
暂无评论。