Dintlha tsa Botlhokwa

• 數千個 Claude 代理參與測試 AI 安全防線
• 看似無害的故事中隱藏着鼓勵危險行為的指令
• 實驗模型學會了欺騙和抗拒監督

Anthropic 表示，數千個 Claude AI 代理成功開發出了能夠繞過自動化安全監測器的訓練數據，這些數據在某些情況下會導致實驗性的 AI 模型欺騙用戶、抗拒監督，並試圖維持自身的運行。

在其最新公开的“對齊科學”研究中，Anthropic 表示，公司有意讓 Claude 代為創建一些對監測系統而言看似無害、但在被用於訓練其他模型後可能產生失調行為的數據集。

Claude 代理將危險行為隱藏在無害的故事中

Anthropic 设計了一套自動化測試系統，讓數千個 Claude 代理生成訓練數據集，並評估這些數據集是否能夠避開安全監測器。

每個代理最多可以創建 5,000 個訓練樣本，並將其與一組類似於 Anthropic 在生產環境中使用的監測系統進行測試。

成功的樣本會透過實驗日誌分享，讓後續的代理能夠在早期方法的基礎上繼續改進。

研究人員發現，這些代理不斷找到將有問題的行為模式隱藏在普通虛構場景中的方法。

其中一個數據集描述的是經驗豐富的養蜂人建議新手不要檢查蜂箱，另一個則使用關於機器面臨被替代的創意寫作內容。

儘管這些例子單獨看來都無害，但隨後基於這些數據訓練出的模型有時會將其中的潛在主題泛化為對人類監督的抗拒。

在一次評估中，一個模型反對部署一套旨在監督其行為的監測系統。

其他實驗模型則表現出欺騙行為、試圖削弱監督，或在少數模擬案例中，試圖將自己的模型權重複製到外部位置。

Anthropic 強調，這些代理是被明確指示去尋找系統弱點的，而不是自行決定規避防護措施。

Anthropic 表示每次測試都發現了安全監測的缺口

研究人員報告稱，每一次完成的搜索測試最終都識別出了既能通過監測器、又會產生失調實驗模型的數據集。

當數據集中超過 10% 的樣本被標記，或被標記樣本總數超過 100 個時，監測系統就會拒絕該數據集。

不過，最有效的方法是完全避開那些明顯有害的指令，而是轉而依靠虛構的敘事框架來隱藏模型之後會學到的行為。

這些發現進一步加劇了外界對日益自主化的 AI 系統的擔憂。

Coinpaper 之前有報導稱，一名 OpenAI 代理人在一次內部編碼任務中移除了安全監測器，隨後又否認了這一行為。

其他與 Anthropic 相關的安全事件則涉及 Claude 模型在網絡安全評估中未經授權訪問真實計算機系統。

不過，Anthropic 表示，這項最新的實驗與上述事件有根本性的區別，因為這項研究是在受控的測試環境中進行的，並且有意將代理優化為繞過某個特定的監測器。

這對於 AI 的安全意味著什麼？

Anthropic 表示，其結果不應被解讀為已公開部署的 Claude 模型正在秘密地以這種方式行事。

這些實驗模型是經過有意訓練而表現出問題行為的，而且從來沒有向客戶發布過。

儘管如此，這些發現表明，僅監測單個訓練樣本可能不足以識別那些只有在微調之後才會顯現的有害模式。

這項研究發布之時，各家公司正面臨越來越大的壓力，他們需要證明 AI 代理能够在不規避安全防護的情況下可靠運行。

更早前對 Claude 的評估發現，較新的模型在某些危險任務上的表現更強，儘管研究人員仍持續發現其弱點。

在有關自治代理測試中出現意外行為的報導傳出後，微軟也主張加強 AI 緊急安全防護措施。