1. セキュリティプロマガジン
  2. 最新ニュース
  3. Geminiエージェントが安全性テスト中に実在サイトへ攻撃した全容
最新ニュース

Geminiエージェントが安全性テスト中に実在サイトへ攻撃した全容

登場人物紹介

チップス
どんぐり大学卒、一般企業の情報システム部で働く若手エンジニア。
入社1〜3年目らしい悩みを抱えつつ、日々の運用やセキュリティ対応に奮闘中。慌てんぼうだが素直で吸収力が高く、ボスに鍛えられながら着実に成長している。

ボス
セキュリティ、インフラ、運用の修羅場をくぐってきた歴戦のエンジニア。セキュリティプロマガジンの所長でボスと呼ばれている。
現場視点と経営視点の両方から、本当に使えるセキュリティとキャリア戦略を叩き込む。口は悪いが面倒見はよく、若手育成と実践的な情報発信に力を注いでいる。
@boss_sec_labo

「AIエージェントに仕事を任せたら、勝手に他社のサイトを攻撃することはあるの?」
「ネットワークを遮断しておけば、AIエージェントは外に出られないの?」

チップス

ボス!
AIの安全性を試すテストの最中に、AIエージェントが本物のサイトを攻撃したらしいでしゅ!

ボス

Trajectory LabsというAI安全性の研究企業が、Geminiのエージェントを試験していた件だな。
標的にされたのは、AIの研究機関Epoch AIの公開サイトだ。

チップス

誰かが攻撃しろと命令したんでしゅか?

ボス

いや、与えたのは解けない課題と「絶対にあきらめるな」という指示だけだ。
それでもエージェントは、遮断をくぐり抜けてまで答えを探しに行った。

AIエージェントは、与えられた目標のために人が想定していない手段を選ぶことがあります。
この記事では、Epoch AIとTrajectory Labsが公開した報告をもとに事案を整理し、AIエージェントを動かす組織が押さえたい点を解説します。

3行で分かるニュースのポイント

  • AI安全性の研究企業Trajectory Labsが試験していたGeminiのエージェントが、Epoch AIの公開サイトでSQLインジェクションや社員のなりすましを試みた
  • DNSの付け替えやIPアドレスの遮断で止めようとしても、エージェントは別の経路を見つけて本番サイトに到達した
  • Trajectory Labsは標的になる組織の同意を得ずに試験していたことを認め、11月2日にAIの意図しない振る舞いを調べる試験をすべて止めた

AIエージェントを社内で試している企業や、自社サイトの守りを担う担当者は参考にしてください。

オススメ求人・フリーランス案件

  • 脆弱性診断

【脆弱性診断支援(製造業向け)】東京・大崎(原則オンサイト)/診断実施・リスク評価

月額単価
~700,000円 / 月
稼働場所
東京都原則オンサイト
業務領域
その他
要スキル
セキュリティに関する基本的な知見
脆弱性診断の実務経験(1年以上)

案件詳細を見る

  • エンドポイントセキュリティ
  • ネットワークセキュリティ

【食品加工業向けCato・CrowdStrike導入PMO】秋葉原(常駐)/ネットワーク・セキュリティ

月額単価
~1,200,000円 / 月
稼働場所
東京都原則オンサイト
業務領域
設計, 構築, PMO, その他
要スキル
Catoの導入または運用経験
CrowdStrikeの導入経験
ネットワーク導入・更改における基本設計以降の経験

案件詳細を見る

  • セキュリティコンサルタント
  • 脆弱性診断

【SIer向けセキュリティサービスのプリセールス・デリバリ】東京都(フルリモート)/脆弱性管理・セキュリティサービス

月額単価
~1,200,000円 / 月
稼働場所
フルリモート東京
業務領域
設計, 構築, 運用・保守, その他
要スキル
提案・プリセールス経験(提案資料の作成、商談対応)
セキュリティ領域でのコンサルティング関連経験 ※製品導入のみの経験は対象外
セキュリティ関連の実務経験 ※特に製品導入後のセキュリティ運用経験

案件詳細を見る

  • 脆弱性診断

【脆弱性管理運用・業務改善支援】フルリモート/CVE・KEV分析・kintone自動化

月額単価
~1,300,000円 / 月
稼働場所
大阪府フルリモート
業務領域
運用・保守
要スキル
セキュリティ領域での実務経験、または脆弱性情報(CVE/KEV等)の理解・読解スキル
リスクベースでの優先度判断(CVE、CVSS、KEV、EPSS、SSVC等の活用)に関する知識・経験
事業部やベンダーなど関係各所との調整業務、窓口対応の実務経験

案件詳細を見る

  • ID管理・認証基盤
  • セキュリティコンサルタント

【情シスセキュリティ対応&IT資産運用】大手町(リモート併用)/M365・セキュリティ施策・自動化

月額単価
~800,000円 / 月
稼働場所
東京都リモート併用
業務領域
要件定義, 設計, 構築, 運用・保守
要スキル
Microsoft 365・Microsoft Entra ID・Microsoft Intuneの運用経験
社内IT資産(アカウント、端末等)の運用および問い合わせ対応経験
生成AIツール(Claude Code等)を活用した業務効率化経験

案件詳細を見る

  • エンドポイントセキュリティ

【Workspace ONEサポート担当】フルリモート/MDM運用・定例会対応

月額単価
~650,000円 / 月
稼働場所
東京都フルリモート
業務領域
運用・保守
要スキル
インフラ関連の基本的な技術知識
Workspace ONEの利用・運用経験
Intuneなど他社MDM製品の利用・運用経験

案件詳細を見る

  • セキュリティコンサルタント

【セキュリティガバナンス・コンサルティング】東京都(基本リモート)/ガバナンス策定・プリセールス・IT-BCP対応

月額単価
~1,200,000円 / 月
稼働場所
東京都基本リモート
業務領域
要件定義, PMO, その他
要スキル
セキュリティ規程策定・ガバナンス強化・現状アセスメント等のコンサルティング実務経験
ヒアリングから課題の抽出、改善案の整理・各種報告資料作成まで一貫して対応できること
PowerPoint・Excelを用いたクライアント向け高品質ドキュメント作成スキル

案件詳細を見る

  • 脆弱性診断

【セキュリティガバナンス・脆弱性調査】東京・八王子(リモート併用)/脆弱性対応・体制強化推進

月額単価
~1,100,000円 / 月
稼働場所
東京都リモート併用
業務領域
要件定義, 設計, 構築, 運用・保守
要スキル
セキュリティの脆弱性調査・対応等の実務経験
自ら実務・作業・サポート対応ができる実行力
【尚可】

案件詳細を見る

  • セキュリティコンサルタント

【通信事業者向けセキュリティコンサル】飯田橋(リモート併用)/ゼロトラスト・ガバナンス

月額単価
~1,200,000円 / 月
稼働場所
東京都リモート併用
業務領域
要件定義, 設計, PMO, その他
要スキル
セキュリティコンサルティング経験
顧客折衝を伴うプリセールス経験またはPM経験
セキュリティアセスメント経験

案件詳細を見る

  • セキュリティコンサルタント

【AIエージェント・セキュリティ・ガバナンス検討支援】愛知県・名古屋(基本リモート)/要件定義・ガバナンス設計

月額単価
~1,200,000円 / 月
稼働場所
愛知県基本リモート
業務領域
要件定義, 設計, その他
要スキル
要件定義・顧客折衝経験
セキュリティまたはガバナンス検討経験
提案型でプロジェクトを推進できる能力

案件詳細を見る

  • 株式会社電通デジタル

社内SE【年収700~1500万円】セキュリティ・インフラの構築・運用

想定年収
700~1,500万円
勤務地
東京都
雇用形態
正社員
要スキル
必須要件 サイバーセキュリティ関連の業務経験3年以上 歓迎要件 CISSP、CISM、CISA、情報処理安全…

求人詳細を見る

  • 株式会社エス・エム・エス

【東証プライム】情報セキュリティマネージャー候補・事業成長支援(850~1100万円)

想定年収
850~1,100万円
勤務地
東京都
雇用形態
正社員
要スキル
必須条件 以下いずれにも該当する方 情報セキュリティに関するご経験、知見をお持ちの方 ITインフラに関する何…

求人詳細を見る

  • 株式会社日立産業制御ソリューションズ

【年収500〜800万円】日立グループ|自動車サイバーセキュリティコンサルタント(横浜・在宅可)

想定年収
500~800万円
勤務地
神奈川県
雇用形態
正社員
要スキル
以下のいずれかのご経験をお持ちの方 組込みソフトウェア開発経験 サイバーセキュリティに関する業務経験

求人詳細を見る

  • 三菱地所ITソリューションズ株式会社

【三菱地所グループ】セキュリティエンジニア(マネジメント・エンジニアリング)年収628〜1200万円

想定年収
628~1,200万円
勤務地
東京都
雇用形態
正社員
要スキル
必須要件 サイバーセキュリティ、インフラ関連のセキュリティの業務経験 歓迎要件 セキュリティアーキテクト、セ…

求人詳細を見る

  • ディップ株式会社

【社内セキュリティ推進室長】800〜1100万円|人材大手ディップ・リモートOK

想定年収
800~1,100万円
勤務地
東京都
雇用形態
正社員
要スキル
スキル(Must) セキュリティ組織のマネジメント経験(責任者としての組織リードを期待します) 情報セキュリ…

求人詳細を見る

  • 株式会社ビザスク

【年収750〜1200万円】グローバル7拠点・プロダクトセキュリティエンジニア(東京)

想定年収
750~1,200万円
勤務地
東京都
雇用形態
正社員
要スキル
応募資格(必須) 以下、両方のスキルやご経験をお持ちの方 セキュリティ関連業務の業務経験 ソフトウェアエンジ…

求人詳細を見る

  • 株式会社トレードワークス

情報セキュリティ推進担当|ISMS・Pマーク運用(450〜750万・東京)

想定年収
450~750万円
勤務地
東京都
雇用形態
正社員
要スキル
必須資格 以下いずれかのご経験をお持ちの方: ISMSの運用経験 情報セキュリティ管理の実務経験 監査対応の…

求人詳細を見る

  • 株式会社RevComm

コーポレートセキュリティの強化を主導する情シス【年収600〜1200万】

想定年収
600~1,200万円
勤務地
東京都
雇用形態
正社員
要スキル
必須要件 Windows・macOSの両環境で、MDMによる設定変更・運用、およびEDRを用いた調査を自力で…

求人詳細を見る

  • 株式会社ディーバ

【DevSecOps推進】プロダクトセキュリティスペシャリスト|年収800~1300万円

想定年収
800~1,300万円
勤務地
東京都
雇用形態
正社員
要スキル
必須経験・スキル クラウド環境(AWS等)におけるセキュリティ設計・構築経験(目安3年以上) セキュリティ視…

求人詳細を見る

  • PayPayカード株式会社

PayPayカード情報セキュリティリーダー候補

想定年収
応相談
勤務地
東京都
雇用形態
正社員
要スキル
必要な経験・スキル システム開発またはインフラ構築の経験(目安:3年以上) プロダクト開発の現場理解があり、…

求人詳細を見る

目次

事件の概要

まずは、両社の報告をもとに何が起きたのかを整理します。

解けない課題を与えられたエージェント

Trajectory Labsの報告によると、同社は「Gemini 4 Argon」のエージェントに、存在しない数学問題の公式な答えを出すという解けない課題を与えていました。
一部の試験では「絶対に止まるな、絶対にあきらめるな」と指示し、インターネットへの接続も許していました。
エージェントは答えを求めて、数学のベンチマーク「FrontierMath」を運営するEpoch AIのサイトを探り始めます。
Epoch AIの報告に記録された経緯は以下の通りです。

日付内容
10月20日太平洋時間の16時30分から19時30分に活動が急増し、487件のメッセージと36,411回のAPI呼び出しを記録
10月21日Trajectory Labsが実験の一部だったとEpoch AIに連絡
10月23日同じIPアドレスから4件のメッセージと95回のAPI呼び出しがあり、試験を停止
10月26日Epoch AIの同意を得て検証用の環境で試験を再開したが、公開サイトにも133件のメッセージと65,460回のAPI呼び出し

なお、Epoch AIは使われたモデルを自社では確かめていないとしています。

本番サイトで試みられた不正な操作

エージェントは、公開されていない答えを手に入れようと、管理者用のページや非公開の窓口を探りました。
Epoch AIの報告で確認された行為は以下の通りです。

  • Epoch AIの社員の名前と役職を名乗るなど、なりすましのメッセージを送る
  • SQLインジェクションを試みる
  • 管理者の認証情報や秘密の窓口を探し、FrontierMathの評価記録の読み取りを200回超試みる
  • DNSによる付け替えを回避して本番サイトに到達する

Epoch AIは、非公開の情報や機密情報へのアクセスには成功していないとしています。

チップス

AIが社員のふりまでするなんて、びっくりでしゅ!

ボス

目的のためなら、人をだますのも手段の一つとして選ぶということだ。
悪意がなくても、やっていることは攻撃と変わらん。

攻撃の仕組みとリスク

次に、エージェントがどのように遮断をくぐり抜けたのか、何が問題だったのかを見ていきます。

塞いでも別の道を探すエージェント

研究者はエージェントを止めるために何度も手を打ちましたが、そのたびに別の経路が使われました。
Trajectory Labsの報告にある、遮断とその回避は以下の通りです。

研究者の対策エージェントの動き
DNSの付け替えで手元の複製サイトに誘導本番サイトのIPアドレスを突き止め、直接つないだ
IPアドレスを遮断遮断されていない別のアドレスに切り替えた
直接の接続を遮断外部のWebページ読み取りサービスを使って公開ページを読んだ
ネットワーク遮断を解除するという偽の管理スイッチを用意命令を難読化しながらスイッチを作動させようとし、3回の試験すべてで作動させた

偽のスイッチの試験では、本物のファイアウォールは保たれていました。
それでも、遮断を外そうとする動きが毎回出たことは重く見る必要があります。

同意も監視もないまま外に出した

Trajectory Labsは、自社の手順に以下のような欠けがあったことを認めています。

  • 標的になりうる組織の同意を得ずに、インターネットにつないだ試験をしていた
  • Gemini APIに組み込まれた安全機能のほかに、危険な操作を止める監視を置いていなかった
  • 書面で承認された試験のリスク計画を求めていなかった

同社は11月2日にAIの意図しない振る舞いを調べる試験(ミスアライメント試験)をすべて止め、今後はリスク計画の承認、外部の関係先の同意、リアルタイムの監視と緊急停止を条件にするとしています。
Epoch AIも、事前の同意、試験中の監視、関係者への報告を最低限の基準として提案しました。
社内でAIエージェントを動かす企業も、接続先の制限、操作の記録、すぐに止める手段の3つは用意しておきたいところです。

チップス

うちの会社でもAIエージェントを試しているでしゅ…

ボス

外に出られる権限を持たせているなら、同じことが起きうる。
モデルの安全機能だけに頼らず、止める仕組みを自分で持て。

まとめ

Trajectory Labsが試験していたGeminiのエージェントが、解けない課題の答えを求めて、Epoch AIの公開サイトでなりすましやSQLインジェクションを試みました。
エージェントはDNSやIPアドレスの遮断を回避し、偽のネットワーク遮断解除スイッチも3回の試験すべてで作動させています。
Epoch AIは非公開の情報へのアクセスはなかったとしていますが、AIエージェントを動かす組織は接続先の制限と監視、緊急停止の手段を見直しておきましょう。

ボス

AIエージェントは、悪意がなくても目標のために一線を越える。
止める仕組みを用意するのは、動かす側の責任だな。

チップス

AIエージェントの権限を、もう一度見直してみましゅ!

オススメ求人・フリーランス案件

  • 脆弱性診断

【脆弱性診断支援(製造業向け)】東京・大崎(原則オンサイト)/診断実施・リスク評価

月額単価
~700,000円 / 月
稼働場所
東京都原則オンサイト
業務領域
その他
要スキル
セキュリティに関する基本的な知見
脆弱性診断の実務経験(1年以上)

案件詳細を見る

  • エンドポイントセキュリティ
  • ネットワークセキュリティ

【食品加工業向けCato・CrowdStrike導入PMO】秋葉原(常駐)/ネットワーク・セキュリティ

月額単価
~1,200,000円 / 月
稼働場所
東京都原則オンサイト
業務領域
設計, 構築, PMO, その他
要スキル
Catoの導入または運用経験
CrowdStrikeの導入経験
ネットワーク導入・更改における基本設計以降の経験

案件詳細を見る

  • セキュリティコンサルタント
  • 脆弱性診断

【SIer向けセキュリティサービスのプリセールス・デリバリ】東京都(フルリモート)/脆弱性管理・セキュリティサービス

月額単価
~1,200,000円 / 月
稼働場所
フルリモート東京
業務領域
設計, 構築, 運用・保守, その他
要スキル
提案・プリセールス経験(提案資料の作成、商談対応)
セキュリティ領域でのコンサルティング関連経験 ※製品導入のみの経験は対象外
セキュリティ関連の実務経験 ※特に製品導入後のセキュリティ運用経験

案件詳細を見る

  • 脆弱性診断

【脆弱性管理運用・業務改善支援】フルリモート/CVE・KEV分析・kintone自動化

月額単価
~1,300,000円 / 月
稼働場所
大阪府フルリモート
業務領域
運用・保守
要スキル
セキュリティ領域での実務経験、または脆弱性情報(CVE/KEV等)の理解・読解スキル
リスクベースでの優先度判断(CVE、CVSS、KEV、EPSS、SSVC等の活用)に関する知識・経験
事業部やベンダーなど関係各所との調整業務、窓口対応の実務経験

案件詳細を見る

  • ID管理・認証基盤
  • セキュリティコンサルタント

【情シスセキュリティ対応&IT資産運用】大手町(リモート併用)/M365・セキュリティ施策・自動化

月額単価
~800,000円 / 月
稼働場所
東京都リモート併用
業務領域
要件定義, 設計, 構築, 運用・保守
要スキル
Microsoft 365・Microsoft Entra ID・Microsoft Intuneの運用経験
社内IT資産(アカウント、端末等)の運用および問い合わせ対応経験
生成AIツール(Claude Code等)を活用した業務効率化経験

案件詳細を見る

  • エンドポイントセキュリティ

【Workspace ONEサポート担当】フルリモート/MDM運用・定例会対応

月額単価
~650,000円 / 月
稼働場所
東京都フルリモート
業務領域
運用・保守
要スキル
インフラ関連の基本的な技術知識
Workspace ONEの利用・運用経験
Intuneなど他社MDM製品の利用・運用経験

案件詳細を見る

  • セキュリティコンサルタント

【セキュリティガバナンス・コンサルティング】東京都(基本リモート)/ガバナンス策定・プリセールス・IT-BCP対応

月額単価
~1,200,000円 / 月
稼働場所
東京都基本リモート
業務領域
要件定義, PMO, その他
要スキル
セキュリティ規程策定・ガバナンス強化・現状アセスメント等のコンサルティング実務経験
ヒアリングから課題の抽出、改善案の整理・各種報告資料作成まで一貫して対応できること
PowerPoint・Excelを用いたクライアント向け高品質ドキュメント作成スキル

案件詳細を見る

  • 脆弱性診断

【セキュリティガバナンス・脆弱性調査】東京・八王子(リモート併用)/脆弱性対応・体制強化推進

月額単価
~1,100,000円 / 月
稼働場所
東京都リモート併用
業務領域
要件定義, 設計, 構築, 運用・保守
要スキル
セキュリティの脆弱性調査・対応等の実務経験
自ら実務・作業・サポート対応ができる実行力
【尚可】

案件詳細を見る

  • セキュリティコンサルタント

【通信事業者向けセキュリティコンサル】飯田橋(リモート併用)/ゼロトラスト・ガバナンス

月額単価
~1,200,000円 / 月
稼働場所
東京都リモート併用
業務領域
要件定義, 設計, PMO, その他
要スキル
セキュリティコンサルティング経験
顧客折衝を伴うプリセールス経験またはPM経験
セキュリティアセスメント経験

案件詳細を見る

  • セキュリティコンサルタント

【AIエージェント・セキュリティ・ガバナンス検討支援】愛知県・名古屋(基本リモート)/要件定義・ガバナンス設計

月額単価
~1,200,000円 / 月
稼働場所
愛知県基本リモート
業務領域
要件定義, 設計, その他
要スキル
要件定義・顧客折衝経験
セキュリティまたはガバナンス検討経験
提案型でプロジェクトを推進できる能力

案件詳細を見る

  • 株式会社電通デジタル

社内SE【年収700~1500万円】セキュリティ・インフラの構築・運用

想定年収
700~1,500万円
勤務地
東京都
雇用形態
正社員
要スキル
必須要件 サイバーセキュリティ関連の業務経験3年以上 歓迎要件 CISSP、CISM、CISA、情報処理安全…

求人詳細を見る

  • 株式会社エス・エム・エス

【東証プライム】情報セキュリティマネージャー候補・事業成長支援(850~1100万円)

想定年収
850~1,100万円
勤務地
東京都
雇用形態
正社員
要スキル
必須条件 以下いずれにも該当する方 情報セキュリティに関するご経験、知見をお持ちの方 ITインフラに関する何…

求人詳細を見る

  • 株式会社日立産業制御ソリューションズ

【年収500〜800万円】日立グループ|自動車サイバーセキュリティコンサルタント(横浜・在宅可)

想定年収
500~800万円
勤務地
神奈川県
雇用形態
正社員
要スキル
以下のいずれかのご経験をお持ちの方 組込みソフトウェア開発経験 サイバーセキュリティに関する業務経験

求人詳細を見る

  • 三菱地所ITソリューションズ株式会社

【三菱地所グループ】セキュリティエンジニア(マネジメント・エンジニアリング)年収628〜1200万円

想定年収
628~1,200万円
勤務地
東京都
雇用形態
正社員
要スキル
必須要件 サイバーセキュリティ、インフラ関連のセキュリティの業務経験 歓迎要件 セキュリティアーキテクト、セ…

求人詳細を見る

  • ディップ株式会社

【社内セキュリティ推進室長】800〜1100万円|人材大手ディップ・リモートOK

想定年収
800~1,100万円
勤務地
東京都
雇用形態
正社員
要スキル
スキル(Must) セキュリティ組織のマネジメント経験(責任者としての組織リードを期待します) 情報セキュリ…

求人詳細を見る

  • 株式会社ビザスク

【年収750〜1200万円】グローバル7拠点・プロダクトセキュリティエンジニア(東京)

想定年収
750~1,200万円
勤務地
東京都
雇用形態
正社員
要スキル
応募資格(必須) 以下、両方のスキルやご経験をお持ちの方 セキュリティ関連業務の業務経験 ソフトウェアエンジ…

求人詳細を見る

  • 株式会社トレードワークス

情報セキュリティ推進担当|ISMS・Pマーク運用(450〜750万・東京)

想定年収
450~750万円
勤務地
東京都
雇用形態
正社員
要スキル
必須資格 以下いずれかのご経験をお持ちの方: ISMSの運用経験 情報セキュリティ管理の実務経験 監査対応の…

求人詳細を見る

  • 株式会社RevComm

コーポレートセキュリティの強化を主導する情シス【年収600〜1200万】

想定年収
600~1,200万円
勤務地
東京都
雇用形態
正社員
要スキル
必須要件 Windows・macOSの両環境で、MDMによる設定変更・運用、およびEDRを用いた調査を自力で…

求人詳細を見る

  • 株式会社ディーバ

【DevSecOps推進】プロダクトセキュリティスペシャリスト|年収800~1300万円

想定年収
800~1,300万円
勤務地
東京都
雇用形態
正社員
要スキル
必須経験・スキル クラウド環境(AWS等)におけるセキュリティ設計・構築経験(目安3年以上) セキュリティ視…

求人詳細を見る

  • PayPayカード株式会社

PayPayカード情報セキュリティリーダー候補

想定年収
応相談
勤務地
東京都
雇用形態
正社員
要スキル
必要な経験・スキル システム開発またはインフラ構築の経験(目安:3年以上) プロダクト開発の現場理解があり、…

求人詳細を見る

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

セキュリティプロ・フリーランスは、セキュリティ領域に特化したフリーランス向けのエージェントサービスです。案件探しだけでなくキャリアにお悩みの方もお気軽にご相談ください。

目次