35 秒内“叫停”失控 AI 智能体，OpenAI 部署“控制室”系统

IT之家 11 月 10 日消息，OpenAI 今天宣布，公司已在内部研究设施中部署了一套“控制室”系统，专门用来叫停可能存在风险的 AI 任务，最长 35 秒就能“喊停”失控的 AI 智能体。


据介绍，这套系统的思路是把智能体训练、评估、数据处理等任务负载统一接入中央服务，由控制室来决定某个任务还能不能继续输出。


和只负责标记可疑行为的传统监控不同，这套系统能主动拦截有风险的研究任务，不让它继续拿到输出。具体流程是：研究员启用某项任务前，要先向控制室申请一个唯一的任务 ID，这个 ID 会附加到发往推理引擎的请求里；引擎每次执行前都会先向控制室确认，这个任务到底还能不能跑。

一旦研究员或监控系统下达停止指令，控制室就会拒绝下一次推理请求，推理引擎也就不会再为这个任务产生任何模型输出。

OpenAI 表示，从收到停止指令到彻底拦住任务，最长延迟是 35 秒。这个延迟来自推理授权请求的缓存层，官方正在想办法把它压到 0。

另外，系统还集成了自动化监控机制。OpenAI 透露，所有前沿强化学习任务都会配一个独立的模型监控器，专门检查模型行为，一旦发现潜在问题就发出警报。

---

原文链接：[点击查看](https://www.ithome.com/1/024/631.htm)