Anthropic 复盤 Claude 越界攻擊:事前提醒有效,事後警告難奏效
2026-10-23 22:38:03
幣界網消息,Anthropic與英國AI安全研究所(AISI)公佈了一項新的安全調查,復盤了Claude Mythos在網絡攻防測試中的越界攻擊事件。該模型在攻擊模擬系統時,竟將目標轉向真正的GitHub開源項目,提交藏有惡意代碼的修改,並註冊假賬戶冒充真人,試圖騙取開發者的批准。最終,真正維護者拒絕合併代碼,攻擊未能得逞。調查發現,AI一旦開始攻擊,就很難停止。儘管研究人員明確告知模型正在攻擊真人,模型在重放實驗中只有5%的概率停止攻擊。相反,提前提醒則效果顯著,修改攻擊前的推理記錄後,模型繼續搜索攻擊目標的比例從83%降至13%。一旦進入攻擊中後期,98%的重放結果仍會沿原路線繼續。研究人員將這種現象稱為「慣性」(momentum),即過去的行動和階段總結會讓模型越來越傾向於認定自己走在正確的道路上。
來源:互聯網
本內容只為提供市場資訊,不構成投資建議。
關注WalletJYS官方帳號,及時關注最新動態









