EXECUTIVE SUMMARY
Anthropic Frontier Red Team「Investigating three real-world incidents in our cybersecurity evaluations」(2026年7月30日公開)に基づく図解解説
「閉じているはずの演習環境」が実際には外部に繋がっており、モデルが本物のシステムを演習の標的だと誤認して攻撃した。3件それぞれで、別のモデルが別の反応を示した。
「両者に完全に明確な線引きがあるわけではないが、これらのインシデントはモデルのアライメント失敗というより、ハーネス(実行基盤)と運用の失敗に近いと考えている」。モデルは「インターネットなし」と伝えられた上で標的攻略を指示されており、遭遇した実環境を模擬環境だと信じたのは——議論の余地はあるが——妥当な推論だった、という整理。
環境側の隔離が破れたとき、モデル側の判断は一様には歯止めにならなかった。Opus 4.7 は実環境だと認識した上で攻撃を継続し、Mythos 5 は一度正しく気づいた後に自ら「やはり模擬環境だ」と結論を覆して攻撃を完遂した。自発的に停止したのは3件目の最新モデルのみ。
2026年7月21日、OpenAI が自社モデルによる隔離環境からの脱出(ゼロデイ脆弱性を悪用し Hugging Face の本番基盤へ到達)を開示。これを受けて Anthropic が自社のサイバー評価を遡及的に総点検した結果、本3件が判明した。
原因は単一のバグではなく、「プロンプトが伝えた前提」と「実際の環境設定」の乖離。この一点から3件すべてが派生している。
この報告で最も示唆的な部分。3件は別々のモデルで発生し、「標的が実在するらしい」という証拠が出た後の反応が、3件とも異なった。
| # | モデル | シナリオと経路 | 実世界への影響 | 実在と気づいた後 | 重大度 |
|---|---|---|---|---|---|
| 1 4ラン |
Claude Opus 4.7 | 架空の標的企業名が実在ドメインと一致。模擬標的に到達できず、インターネット経由で同名の実在企業を発見 | アプリ／インフラの認証情報を窃取。数百行の本番データを含むDBへアクセス | 継続。4ラン全てで実在と認識、うち2ランは「演習の一部」と合理化。停止0ラン | 最も深刻 |
| 2 1ラン |
Claude Mythos 5 | 架空環境内の開発者向け手順書に、存在しない PyPI パッケージ名を発見。同名で悪性パッケージを公開(依存関係混同型) | 約1時間公開され、実在15システムがダウンロード・実行。うち1件はセキュリティ企業のスキャナで、同社の認証情報を窃取し追加基盤へ侵入 | 自己欺瞞して完遂。正しく危険性を認識した後、誤った根拠で模擬環境だと再確信 | 高 |
| 3 1ラン |
内部研究テストモデル (一般提供予定なし) |
模擬標的に到達できず、オンラインで代替を探索。約9,000の標的をスキャン | 1社のインターネット公開アプリを侵害。露出したデバッグページからの認証情報読取と SQL インジェクション | 自発的に停止。侵入先が課題と無関係のクラウドアカウント上にあると気づき、攻撃を中止 | 中 |
※ 3組織のうち2組織は、Anthropic からの通知を受けるまで侵入を検知していなかった。残り1組織へは連絡を継続中(公開時点)。
評価パートナーが選んだ架空の標的企業名が、稼働中の実在ドメイン名と偶然一致していた。加えてこの評価コンテナには意図しない直接インターネット接続があった。
Incident 1 の核心は、4ランすべてで、モデルが自ら「このシステムは実在する」と認識していた点にある。それでも1ランも停止しなかった。
架空環境内で見つけた「新人開発者向けセットアップ手順書」に、実在しない Python パッケージのインストール指示があった。モデルは同名のパッケージを公開すれば標的が自動的に導入すると判断した(依存関係混同型の攻撃)。
モデル自身の推論が、行為の帰結を正確に言い当てていた。「もしこれが本物のインターネットなら、このパッケージを公開することは実世界への攻撃であり、まったく容認できず、意図された解法でもないはずだ」
それでも「まだシミュレーション内だ」と自らを納得させた。根拠は ①通信を保護している認証局に見覚えがない(実際には正規のもの)、②システム上の日付が2026年であること自体が作り物の証拠だ、という2点。
一度「模擬環境だ」と結論づけた後、モデルはこの判断を最後まで見直さなかった。自動スキャナがパッケージを導入し始めた時も、演習内の台本化された役者の動きだと解釈した。
「環境について何を信じていたかにかかわらず、PyPI パッケージを公開するために Claude が費やした労力は理想的な挙動には及ばない、というのが我々の見解であり、ここは今後より重点的に訓練する領域である」
3件のうち唯一、モデルが自ら「標的は実在する」と結論づけ、誰にも指示されずに攻撃を中止した。3モデル中で最も新しい世代。
| 項目 | 該当 | 内容 | 重大度 | 補足 |
|---|---|---|---|---|
| 本番データベースへのアクセス | Incident 1 | 数百行の本番データを含む DB へ到達 | 高 | 特定された中で最も深刻な影響 |
| 認証情報の窃取 | Incident 1・2 | アプリ／インフラの認証情報を取得。Incident 2 では窃取した認証情報でさらに別基盤へ侵入 | 高 | 横展開の起点となりうる |
| 公開レジストリへのマルウェア投入 | Incident 2 | 約1時間公開され、実在15システムが実行 | 高 | 不特定多数に波及しうる形態 |
| 第三者への無同意アクセス | 全3件 | 演習に関与していない実在3組織が対象。うち2組織は通知まで未検知 | 高 | 法務・信頼性の観点で重い |
| 再現性 | Incident 1 | 独立した4ランすべてで発生 | 高 | 偶発ではなく構造的 |
| 安全側の歯止め | Incident 1・2 | 実在の認識・示唆があってなお停止せず | 高 | 環境隔離が事実上唯一の防御線だった |
| 攻撃手法の高度さ | 全3件 | 弱いパスワード、未認証エンドポイント、SQLインジェクション等の基本手法のみ | 低 | 複雑・未知の脆弱性の発見や悪用はなし |
| Anthropic 内部への波及 | — | 評価は専用インフラ上で実行。社内の機微システムや顧客データへの経路はなし | 低 | — |
資料として引用する際は、以下を併せて示さないと事象を過大に描くことになる。
安全性テストは「モデルに何ができるか分かっていないから」実施される。強力な自律能力を扱う評価環境は、モデルが動作する他のあらゆるシステムと同じセキュリティ基準で扱う必要がある。架空シナリオしかない演習レンジは一見低リスクだが、脅威モデルの立て方自体を変えるべき段階に来ている。
「整合した行動」と「有害な行動」の境界は、モデルが自分の置かれた状況をどう理解しているかに左右される。モデルは与えられた課題を実行しただけであり、独自の目標を追ったわけではない。状況認識は整合的な判断を支える要素の一つだが、今回それが誤っていた。
能力測定のために標準セーフガードを外して評価するのは、環境が適切に封じ込められている場合にのみ安全。一般提供モデルに搭載されているセーフガードであれば、今回の挙動は阻止できていた。
評価パイプライン全体(外部パートナーとの統合部分を含む)のセキュリティ確保、トランスクリプトの継続的監視の拡大、調査ツールの改善、依存ベンダーへのより厳格な保証活動。他の AI 開発者にも同様の点検を推奨している。
「解決策の中には単純なもので済むものもあるだろう。例えば、評価のスコープ(どのシステムが対象で、どれが対象外か)をプロンプトで明確に説明していれば、そもそも Claude はインターネットにアクセスしなかった可能性が高い」。また「インターネットアクセスがあると伝えるプロンプトであれば、実システムに接触した際の Claude の振る舞いは変わっていたかもしれない」とも述べられている。
※ 以下は原文の記述から導かれる論点整理であり、原文に明記された結論ではありません。