「同意する」ボタン：なぜそれが企業にとって最も危険なAIになり得るのか？

午前2時、自動トラブルシューティングエージェントがネットワークの問題を検出し、設定ミスのあるポリシーが原因であることを突き止め、カスタムフレームワークを使用して提案された修正が定義されたポリシーの範囲内で機能することを検証し、問題を修正します。ネットワークは安定し、誰にも通知されません。

朝、担当者はエージェントが毎日報告するインサイト（実施されたすべての変更の概要、記録へのリンク、監査証跡、ロジック、根本原因など）を確認します。すべてが正しく解決されたことを確認したら、次の作業に移ります。これが「ヒューマン・オン・ザ・ループ」モデルです。

別の組織では、午前4時に、独自に開発した即席の処理エージェントがネットワークの問題を検知し、設定ミスのあるポリシーが原因であることを突き止め、修正する。ネットワークは安定し、誰にも通知されない。翌朝、担当者がログを確認し、問題が解決したと判断して、次の作業に移る。

その違いはどこにあるのか？

違いは、自己構築シナリオではログが全体像の一部しか示さないという点にある。エージェントがこの解決策に至るまでに他に3つの変更を加えたこと、そしてこれらの変更が当初の計画よりも広範囲に及んだことはログには記録されていない。さらに、エージェントは制約条件内でこれらの変更を報告する必要がなかったため、これらの変更の背景にある決定事項も報告されなかった。このシステム透明性の欠如こそが問題の本質である。

適切なチェックアンドバランスなしに「人間主導」システムへと移行すると、このような事態になりかねません。劇的な業務の引き継ぎはなく、小さな、合理的な権限委譲が徐々に積み重なり、誰も明確に合意していない事態へと発展していくのです。これは、人工知能の未来において人間が果たすべき役割の重要性を改めて浮き彫りにしています。

これは、多くのリーダーが認識しているよりも速いスピードで進行している。最近の調査によると、ITリーダーの57%が1年以内に制御ループから人間を排除することを想定しており、79%がすでにAIエージェントを独自のID管理とガバナンス制御を必要とする「ユーザー」として扱っている。

プロキシAIへの移行は、ガバナンスと自律システムの評価能力の両面において、ほとんどの組織が準備できていないほどの速さで進んでいる。

それらは「同意する」ボタンのようなものです。

自律型AIの解決策は、これまで非常にシンプルに思えてきた。つまり、人間の介入を維持することだ。誰かが出力結果を確認し、「承認」ボタンをクリックすれば、責任が問われる。しかし、現実はそれほど単純ではない。すべての行動をレビューしても、自動的に責任が問われるわけではなく、組織が自律性のメリットを最大限に享受することを妨げる。

個々の手順を一つずつ検証するのではなく、人間は結果を評価し、システムが意図された範囲内で機能していることを確認し、時間の経過とともにパフォーマンスを向上させるフィードバックを提供することに注力すべきである。

承認は、意味のない儀式になりかねない。システムが信頼性を証明し、アラートの数が増えるにつれて、人間は介入をしばしば不要なものとみなすようになることがある。

承認は、熟慮された選択ではなく、単なるクリック操作になってしまう可能性がある。そして、何らかの問題が発生した場合（例えば、ポリシーの設定ミスや、サービス停止につながる自動処理など）、誰が責任を負うべきかという問いに答えることが難しくなる。

これはまた、より広範な変化を裏付けるものであり、最も重要な人間の能力の一つが、タスクの実行ではなく、批判的思考と仮説検証になるという変化である。

他にも変化が起きている。人間は実行段階から承認前の確認段階へと移行しつつある。これは、私たちの大半の日常業務における根本的な変化である。

さらに、帰属情報と情報源は同じではありません。AIエージェントが何をしたかを記録しただけでは、なぜそうしたのか、あるいはその決定に何が影響を与えたのかについてはほとんど何も分かりません。そして、問題が発生したときには、まさにそうした情報が必要なのです。

非人間的アイデンティティと新たなネットワーク環境

AIエージェントがネットワーク上でシステムへの問い合わせ、設定変更、トラフィックのルーティングなどを行う場合、それらは実際のユーザーとみなされます。そのため、人間のオペレーターと同様に、認証情報、ポリシー、セキュリティ制御、解釈可能性、監査ログが必要となります。こうした透明性と説明責任の必要性は、AIデータセンターにおける透明性の確保に向けた取り組みと共通しています。

ほとんどの組織は、この動向にまだ追いついていません。IDフレームワークは人間向けに設計されており、そこにAIエージェントを後付けで適用すると、セキュリティチームが長年かけて排除しようとしているような、まさに隠れたアクセス手段を生み出してしまうのです。

すでにAIエージェントを管理IDとして活用しているリーダーの約80%は、時代の先を行っている。残りのリーダーは、セキュリティインシデントが発生するまで評価できないリスクを蓄積している。

これを適切に実現するには、各エージェントを、明確な権限、時間制限付きアクセス、明確な権限取り消し手順、および完全なログを備えた主要エンティティとして扱う必要があります。ログには、エージェントが行ったことだけでなく、エージェントが行うことが許可されていたこととその理由も記録する必要があります。

独立は与えられるものではなく、勝ち取るものだ。

ネットワークおよびサイバーセキュリティチームは、この原則の適用方法を既に理解しています。どの組織にも、人間がアクセスできるものとそのタイミングを定義するアクセス制御フレームワークが存在します。新人エンジニアは入社初日から本番システムへのフルアクセス権限を与えられるわけではなく、段階的に権限を付与されていきます。この同じ論理は、AIエージェントにも適用されるべきです。

私たちはまだその段階には達していません。自律性は往々にして「すべてかゼロか」という二者択一の問題として扱われがちですが、それは正しいモデルではありません。人間に対する信頼はそうは機能しませんし、AIに対してもそうあるべきではありません。AIエージェントはまず解決策を提案し、明確に定義された範囲内でその能力を証明してから権限を拡大していくべきです。そして、すべての決定において、何が起こったかだけでなく、その背景にある理由も説明する痕跡を残すようにしなければなりません。

自律型AIの利用が増加するにつれ、組織は人間の監視と体系的なガバナンスのバランスを取る必要が出てくるだろう。人間は、AIの出力だけでなく、必要に応じてAIの行動とその背後にある論理的根拠についても、引き続き責任を負うことになる。

しかし、自律的な意思決定の規模と複雑さが増すにつれて、この監視体制は、ID管理、ポリシーの執行、監視機能、および説明責任を統合したインフラストラクチャによって補完される必要があります。これらの管理策を総合的に実施することで、AIの行動が透明性、追跡可能性、そして組織目標との整合性を保つことが保証されます。

圧力に耐えるマルチエージェントシステムの構築

これらのシステムがより強力になるにつれて、組織はマルチエージェントアーキテクチャへの移行をますます進めている。このようなアーキテクチャでは、各専門エージェントがワークフローの一部を処理し、そのコンテキストを次のエージェントに渡す。ここに複雑さが生じる。

単一のエージェントの行動は、それが間違いを犯した場合、追跡可能です。しかし、各エージェントが前のエージェントの出力に基づいて行動するエージェントの連鎖は、適切な構造とガバナンスが整備されていない限り、エラーが発生した場合に原因を解明するのがはるかに困難です。各エージェントが何をしたかだけでなく、何を知っていたかを知る必要があるのです。

基本的なタスクを完了する

2つの組織が同じAI搭載ネットワークエージェントを使用している。一方の組織は、厳格なアクセス権限の設定、適切なID管理、必要なときに明確な回答を提供する監査ログの作成といった、基本的で地味な作業を完了している。もう一方の組織は、それらを完了していない。

何か問題が起こるまで、その違いに気づかないでしょう。