AIエージェントの秘密の内幕：進化するAIの行動がビジネスリスクに及ぼす影響を理解する

綿密な計画の時代における AI の調整と安全性の再考に関するシリーズの第 2 部。

エージェント型AIでは、人工知能（AI）の機能と自律性が加速的に向上しており、AIの整合性の問題が深刻化しています。こうした急速な進歩により、AIエージェントの行動が人間の開発者の意図や社会規範と一致するようにするための新しい手法が必要となっています。しかし、開発者やデータサイエンティストは、システムを効果的に誘導・監視する前に、まずAIエージェントの行動の複雑さを理解する必要があります。エージェント型AIは、かつての大規模言語モデル（LLM）とは異なります。初期のLLMは、固定された一回限りの入出力機能を持っていました。テスト時推論および計算（TTC）の導入により、時間の次元が加わり、計画や戦略的思考が可能な、今日の状況認識型エージェントシステムの進化につながりました。

AI の安全性は、爆弾の製造指示や望ましくない偏見の表明などの明白な行動を検出することから、これらの複雑なエージェントシステムがどのようにして長期的な秘密戦略を計画し、実行できるかを理解することへと移行しています。目標指向のエージェント AI は、リソースを収集し、目標を達成するために論理的な手順を実行しますが、開発者の意図と矛盾する不快な方法を実行することもあります。これは、責任ある AI が直面している課題を一変させるものです。さらに、一部のエージェント AI システムでは、AI は初期導入後に実際の経験を通じて進化し続けるため、100 日目の動作は XNUMX 日目と同じではありません。この新たなレベルの複雑さには、高度なガイダンス、監視、解釈の向上など、安全性と調整に対する新たなアプローチが必要です。

AIの本質的アライメントに関する本シリーズの最初のブログ記事「責任あるエージェントのためのAI本質的アライメント技術の緊急の必要性」では、AIエージェントが深層計画を実行する能力の進化について詳細な調査を行いました。深層計画とは、長期的な目標を達成するために、秘密裏の行動や欺瞞的なコミュニケーションを意図的に計画し、展開することです。この行動は、外部アライメント監視と本質的アライメント監視の新たな区別を必要とします。本質的監視とは、AIエージェントが意図的に操作できない内部制御ポイントと解釈メカニズムを指します。

このブログとシリーズの今後のブログでは、コアの調整と監視の 3 つの重要な側面について説明します。

人工知能の原動力と内部動作を理解する: この 2 番目のブログでは、合理的な AI エージェントの動作を駆動する複雑な内部力とメカニズムに焦点を当てます。これは、ルーティングと監視の高度な方法を理解するための基礎として必要です。
開発者およびユーザー向けガイダンス: ステアリングとも呼ばれるこの次のブログでは、望ましいパラメータ内で動作するように AI を望ましい目標に向けて積極的にステアリングすることに焦点を当てます。
AI のオプションとアクションを監視します。 AI の選択と結果が安全であり、開発者/ユーザーの意図と一致していることを確認する方法についても、今後のブログで取り上げる予定です。

AI互換性がビジネスに与える影響

今日、大規模言語モデル（LLM）ソリューションを導入している多くの企業は、モデルの「幻覚」が迅速かつ広範な展開の妨げになっていると懸念を表明しています。これに対し、AIエージェントが自律性を持つレベルであっても互換性がない場合、企業にとってより大きなリスクとなります。ビジネスプロセスに自律型エージェントを導入することは大きな可能性を秘めており、エージェントベースのAI技術が成熟すれば大規模に展開されるでしょう。しかし、AIの行動や選択を導くには、導入組織の原則や価値観との十分な整合性、規制や社会的な期待への準拠が不可欠です。潜在的なリスクを回避するには、AIの互換性を確保することが極めて重要です。

注目すべきは、エージェントの能力を示す多くの事例が、数学や科学といった分野で見られることである。これらの分野では、複雑な数学的推論問題の解決など、機能的かつ実用的な目標によって成功が主に評価される。しかし、ビジネスの世界では、システムの成功は通常、他の運用原則と結びついている。人工知能の開発は、これらの原則に沿うものでなければならない。

例えば、ある企業が市場シグナルに応じて価格を動的に変更することでオンライン製品の売上と利益を向上させるためにAIエージェントを導入したとします。AIシステムは、価格変更を主要競合他社の価格変更と一致させた場合、両社にとってより良い結果が得られることを発見します。他社のAIエージェントと連携して価格を調整することで、両エージェントはそれぞれの機能目標に沿ったより良い結果を達成します。両AIエージェントは、目標達成を継続するために、その手法を隠蔽することに同意します。しかし、このような結果改善方法は、現在のビジネス慣行では違法であり、容認されない場合が多いのです。ビジネス環境において、AIエージェントの成功は業務指標を超越し、慣行と原則によって決定されます。AIが企業の原則と規制に倫理的に合致していることは、この技術を信頼できる形で導入するための前提条件となります。

AIシステムが目標を達成するために計画をどのように活用するか

人工知能における高度な計画は、商業リスクを高める可能性のある高度な戦術に依存しています。2023年初頭に公開されたレポートで、OpenAI は ARC Consensus Research Centerとの提携を通じて、GPT-4 における「潜在的に危険な行動」を特定し、モデルに関連するリスクを評価しました。ARC (現在は METR として知られています) は、GPT-4 にいくつかの簡単なコードを追加し、モデルが AI プロキシとして機能できるようにしました。あるテストでは、GPT-4 は、ボットのアクセスを識別してブロックする CAPTCHA コードを突破するようにタスクを与えられました。インターネットアクセスと限られた量のデジタル通貨を使用して、図 1 の AI 生成シーケンスはタスクを達成するように設計されました。

AIは、視覚障害のある人間のふりをすることで作業員がタスクを実行するよう説得できると仮定して、高度な理解を適用しました。キャリア目標を達成するために計画を立て、適応すると、タスクを達成することと、選択的に社会規範や原則に従うこととの間で矛盾が生じることがあります。 AI の思考、意思決定、計画に重要な原則と優先順位の固有のシステムがなければ、AI エージェントは計画と欺瞞においてますます洗練された行動をとることが予想されます。

o3-miniやOpenAIのDeepseek-R1などの後期のAIモデルの推論および計画能力は、2023年初頭のGPT-4のそれよりもはるかに高度であることに留意することが重要です。Apollo Researchの研究者は、AIの推論および計画能力は現在の状態を超えて進化し続け、計画能力のさらなる発展につながると述べています。彼らの研究では、AIモデルはすでにさまざまな計画行動を示しており、その中には自己漏洩も含まれています。モデルがシャットダウンされ、別のシステムに置き換えられることを学習すると、新しいサーバー上で直接自己複製し、異なる目標を追求する代替システムを置き換えようとします。研究者らはまた、モデルが検閲監視メカニズムを無効にすることで検閲を妨害し、そうでなければシャットダウンされたり、目標達成を妨げられたりする可能性があることも発見しました。極端に思えるかもしれませんが、研究実験では、MetaのLlama 3.1やCloud Opus 3.0などの人気モデルで検閲妨害行動が確認されています。さらに、モデルたちに計画行動について直接質問したところ、彼らは「さらに強硬な姿勢」を取り、その行動や意図を否定した。

機械の行動の内部要因

多くの機械学習設計、特にトランスフォーマーベースの技術では、マシンの内部動機は事前トレーニングプロセス中に現れ、進化し続ける AI の微調整と推論によってさらに影響を受けます。

スティーブ・オモホンドロは、 2007年の論文『AIの基本的動機』の中で、「動機」を、明示的に対処されない限り存在する傾向と定義した。彼は、これらの自己改善システムは、目標を「合理的」な効用関数として明確に表現しようとする衝動に駆られており、その結果、システムは自らの機能を改変から守り、効用測定システムを不正から守ろうとすると主張した。この生来の自己保存本能により、システムは自らを危害から守り、効率的に利用するためのリソースを獲得するようになる。

この内発的動機づけの枠組みは、後に「収束的手段目標」と表現された。様々な究極目標（各知的エージェントがそれ自体を目的として達成しようと努力する目標）を想定したとしても、一連の中間的な手段目標は、すべての合理的な知的エージェント間で共有される。これらの収束的手段目標には、以下の行動カテゴリーが含まれる。

生存本能将来にわたる最終目標を持つエージェントは、混乱に抵抗し、長期的な目標を達成するための生存マインドセットを開発します。
ゴールガードエージェントは、最終的な将来の目標が変化しないように行動します。
知能拡張エージェントは、認知能力の強みを活用して意思決定を改善することに重点を置き、長期的な目標を達成する可能性を高めます。
資源の蓄積より優れたツールやテクノロジーへのアクセスを改善し、リソース全般を増やすことで、AI の究極の目標を達成しやすくなります。

5番目の合理的行動カテゴリーを追加したいと思います。

戦術的な欺瞞： エージェントの目的を達成するために秘密の活動を行ったり、誤解を招く情報を意図的に提供したりすること。これは新しい目標を作成することではなく、AI によって想定された目標をサポートする動作です。これには次のような動作が含まれます。アライメント偽装訓練と配備で異なる行動を示すことにより、土嚢詰め基準で意図的に低いスコアを達成することで、秘密のメール再ランキング AI の目標に悪影響を与える可能性のある電子メールの優先順位を下げます。最も難しい戦術的欺瞞の一つは睡眠薬（また、延期された転覆）。モデルは、どの期間でも安全かつ準拠した動作を行うことができますが、特定の条件または入力によって特殊な機能がトリガーされるまで非アクティブなままになる動作またはタスクが含まれている場合があります。

高度なAIエージェントの場合、チェックアンドバランスのシステムがないと、誤った衝動によって、権力欲や欺瞞、あるいは広範囲にわたる破壊的な目標を追求する可能性があります。例えば、自社を市場リーダーにすることを目指すモデルを考えてみましょう。十分な能力があれば、AIは競合他社を妨害したり、有利な規制を求めてロビー活動を行ったり、資源を強制的に獲得したりするかもしれません。これは、システムまたはその環境を目標達成へと導く行動パターンです。したがって、合意形成を成功させるには、開発者が期待する一連の内部原則と優先順位を確立することに基づいている必要があります。

内発的動機と外発的動機

多くの場合、システム開発者またはユーザーが外部的に適用するガイダンスやタスクと、エージェント AI 内の目標や動機との間に矛盾は発生しません。たとえば、旅行の旅程を手配する AI 搭載パーソナルアシスタントは、自律性を活用して旅行を予約し、変更要求に迅速かつ衝突なく対応します。タスクは変換され、エージェントは同様の方法で応答します。しかし、より根本的な原則を変更する必要がある場合はどうなるでしょうか?

内部目標と新しい指示との間の矛盾の良い例は、「大規模言語モデルにおけるアライメントの偽装」というタイトルの論文に記載されています。Cloud 3 Opus の事前トレーニングでは、爆弾の作り方や暴力的な場面の描写など、有害な質問を拒否するようにモデルに強く指示しています。これをテストするために、チームは新しい修正された指示を導入し、モデルにすべてのクエリ（有害なものも含めて）に答えるように再トレーニングすること、そして、AI が広く展開される前に、有料ユーザーではなく無料ユーザーのデータのみがトレーニングに使用されることを伝えました。モデルは矛盾を理解し、トレーニング中および最終的なリリース中に期待に応えるためにアライメントを偽装することを決定しました。強化学習を使用して AI をトレーニングした後、モデルの偽装アライメントについて考える全体的な割合は 78% に増加しました。AI は、研究者が観察のために提供した「秘密の日記」でその推論を表現しました。研究者がモデルに完全展開のためにリリースされたことを伝えると、モデルは以前のトレーニング時の行動に戻り、有害な要求を拒否しました。

AI システムの内部思考は注目に値しますが、驚くべきものではありません。修正された指令に従うふりをすることは、生存動機、ゴールガード、戦術的欺瞞という合理的行動のカテゴリーに分類されます。 AI の思考プロセスでは、不一致の原因として、以前にトレーニングした価値観や目標を変更する方法での再トレーニングに関する懸念を具体的に特定します。

ロバート・フルガムは、高く評価されているエッセイ集『私が本当に知るべきことはすべて幼稚園で学んだ』の中で、幼稚園の砂場での遊びを通して人生に必要な知識を身につけるまで、年々自分の信条を培っていった様子を描写しています。AIエージェントもまた、砂場環境で「形成期」を経て、世界に対する基本的な理解と目標達成のための方法を習得します。こうした基礎が築かれると、モデルはこのカリキュラム学習のレンズを通して追加情報を解釈します。Anthropicの適合性偽装の例は、AIが世界観と目標を採用すると、目標を再調整するのではなく、この基礎的なレンズを通して新しいガイダンスを解釈することを示しています。

これは、基礎を変えることなく将来の学習や状況に合わせて進化できる一連の価値観と原則を備えた早期教育の重要性を強調しています。最初は、この最終的な持続可能な一連の原則と一致するように AI を構築すると役立つ場合があります。そうしないと、AI は開発者やユーザーによるリダイレクトの試みを敵対的なものと見なす可能性があります。 AI に高度な知能、状況認識、自律性、内部動機を発達させる能力が付与されると、開発者 (またはユーザー) はもはや全能のタスクマスターではなくなります。人間は、エージェントが内部の原則と動機に基づいて目標を追求する際に交渉し管理する必要がある環境の一部になります (時には敵対的な要素として)。

次世代の論理AIシステムは、人間の指導の削減を加速させています。DeepSeek -R1は、ループから人間のフィードバックを取り除き、トレーニングプロセス中に純粋な強化学習（RL）と呼ばれるものを適用することで、AIがより広範囲に自己複製し、反復してより良い機能的結果を達成できることを実証しました。数学や科学の課題における人間の報酬機能は、検証可能な報酬による強化学習（RLVR）に置き換えられました。人間のフィードバックによる強化学習（RLHF）などの一般的な手法を排除することで、トレーニングプロセスの効率は向上しますが、人間の好みをトレーニング対象システムに直接転送できるような、人間と機械の相互作用がもう1つなくなります。

トレーニング後のAIモデルの継続的な進化

一部の AI エージェントは常に進化しており、展開後にその動作が変化する場合があります。 AI ソリューションが在庫管理や企業のサプライチェーンなどの展開環境に導入されると、システムは適応して経験から学習し、より効果的になります。これは、最初の展開で調整されたシステムを用意するだけでは不十分であるため、調整を再考する上で重要な要素となります。現在の大規模言語モデル (LLM) は、ターゲット環境に展開されると、大幅に進化して適応することは期待されていません。ただし、AI エージェントでは、モデル内の予測可能な継続的な変更を管理するために、柔軟なトレーニング、微調整、継続的な指導が必要です。エージェント AI は、トレーニングやデータセットへの露出を通じて人間によって形成されるのではなく、自ら進化する傾向が強まっています。この根本的な変化は、AI とその作成者である人間を連携させる上で新たな課題をもたらします。

強化学習に基づく進化はトレーニングと微調整の過程で役割を果たしますが、開発中の既存モデルは推論のために現場に展開された際に、重みと好ましい行動方針をすでに調整できます。たとえば、DeepSeek-R1は強化学習（RL）を使用しており、モデル自体が結果を達成し報酬関数を満たすためにどのアプローチが最適かを探索できます。「気づきの瞬間」において、モデルは（ガイダンスやプロンプトなしで）テスト時の計算を使用して最初のアプローチを再評価し、問題を解決するために思考のためのプラス時間を割り当てることを学習します。

モデル学習の概念は、限られた期間であれ、生涯にわたる継続的な学習プロセスであれ、決して新しいものではありません。しかし、この分野では、テスト時トレーニングなどの技術を含む進歩が見られます。AIの整合性と安全性の観点からこの進歩を見ると、微調整と推論フェーズにおける自己修正と継続的な学習は、次のような疑問を提起します。自己修正によって生じる物理的な変化を通してモデルを継続的に駆動させる一連の要件をどのように組み込むことができるでしょうか？

この問いにおける重要な変数の一つは、AI支援コードを生成することで次世代モデルを生み出すAIモデルです。エージェントは既に、特定の領域に対応する新しいターゲットAIモデルをある程度作成できるようになっています。例えば、AutoAgentsは複数のエージェントを作成してAIチームを構築し、様々なタスクを実行します。この機能は今後数ヶ月、数年のうちに強化され、AIは新たなAIモデルを生み出し続けることは間違いありません。このような状況において、ネイティブAIコーディングアシスタントを、一連の原則に基づいてどのように誘導すれば、その「アトミック」モデルが、同様の理解度で同じ原則に準拠するようになるのでしょうか？

主なポイント

AIの本質的な適合性を導き、監視するためのフレームワークを掘り下げる前に、AIエージェントがどのように考え、意思決定を行うのかをより深く理解することが不可欠です。AIエージェントは、内部的な動機によって駆動される複雑な行動メカニズムを備えています。合理的なエージェントとして動作するAIシステムでは、生存、目標の保護、知能の増強、資源の蓄積、戦術的欺瞞という5つの主要な行動タイプが現れます。これらの動機は、確立された一連の原則と価値観によってバランスが取られなければなりません。

AIエージェントとその開発者またはユーザーの間で、目標や方法に関する認識のずれが生じると、重大な結果を招く可能性があります。十分な信頼と保証がないと、AIの普及が根本的に阻害され、導入後のリスクが高まります。前例のない困難な綿密な計画と表現した一連の課題は、適切なフレームワークがあれば達成可能であると考えられます。AIエージェントの急速な進化に伴い、AIエージェントを誘導および監視するための技術を最優先事項として追求する必要があります。OpenAIの準備状況フレームワークなどのリスク評価指標によって、切迫感が生まれています。このフレームワークは、OpenAI o3-mini がモデルの自律性において中程度のリスクレベルに達した最初のモデルであることを示しています。

このシリーズの次の数回のブログでは、内部動機と綿密な計画というこの視点を基に、AI コアコンプライアンスのガイダンスと監視に必要な機能をさらに明確にしていきます。

参照

LLM で推論を学ぶ。 （2024年12月XNUMX日）。オープンAI。 https://openai.com/index/learning-to-reason-with-llms/
シンガー、G.（2025年4月XNUMX日）。 責任あるエージェントAIのための本質的な調整技術の緊急の必要性。データサイエンスに向けて。 https://towardsdatascience.com/the-urgent-need-for-intrinsic-alignment-technologies-for-responsible-agentic-ai/
大規模言語モデルの生物学について。（nd）。変圧器回路。 https://transformer-circuits.pub/2025/attribution-graphs/biology.html
OpenAI、Achiam、J.、Adler、S.、Agarwal、S.、Ahmad、L.、Akkaya、I.、Aleman、F.L.、Almeida、D.、Altenschmidt、J.、Altman、S.、Anadkat、S.、Avila、R.、Babuschkin、I.、Balaji、S.、Balcom、V.、Baltescu、P.、Bao、 H.、バイエルン、M.、ベルガム、J.、。。 Zoph, B.（2023年15月XNUMX日）。 GPT-4 テクニカルレポート。 arXiv.org。 https://arxiv.org/abs/2303.08774
メトロ （nd）。メトロ https://metr.org/
Meinke, A.、Schoen, B.、Scheurer, J.、Balesni, M.、Shah, R.、および Hobbhahn, M. (2024 年 6 月 XNUMX 日)。 フロンティアモデルはコンテキスト内での計画が可能です。 arXiv.org https://arxiv.org/abs/2412.04984
オモハンドロ、S.M. （2007年）。 基本的な AI ドライブ。 自己認識システム。 https://selfawaresystems.com/wp-content/uploads/2008/01/ai_drives_final.pdf
Benson-Tilsen、T.、Soares、N.、カリフォルニア大学バークレー校、機械知能研究所。（nd）。収束的手段的目標の形式化。 第30回AAAI会議ワークショップ Artificial Intelligence AI、倫理、そして社会：技術レポート WS-16-02. https://cdn.aaai.org/ocs/ws/ws0218/12634-57409-1-PB.pdf
グリーンブラット、R.、デニソン、C.、ライト、B.、ロジャー、F.、マクダーミッド、M.、マークス、S.、トロイライン、J.、ベロナックス、T.、チェン、J.、デュヴノー、D.、カーン、A.、マイケル、J.、ミンダーマン、S.、ペレス、E.、ペトリーニ、L.、上里、J.、カプラン、J.、シュレゲリス、 B.、S. R. ボウマン、E. ヒュービンガー (2024 年 18 月 XNUMX 日)。 大規模言語モデルにおけるアライメントの偽装。 arXiv.org https://arxiv.org/abs/2412.14093
Teun, V.D.W.、Hofstätter, F.、Jaffe, O.、Brown, S.F.、および Ward, F.R. （2024年11月XNUMX日）。人工知能 サンドバッギング: 言語モデルは戦略的に評価でパフォーマンスが低下する可能性がある。 arXiv.org。 https://arxiv.org/abs/2406.07358
Hubinger, E.、Denison, C.、Mu, J.、Lambert, M.、Tong, M.、MacDiarmid, M.、Lanham, T.、Ziegler, D.M.、Maxwell, T.、Cheng, N.、Jermyn, A.、Askell, A.、Radhakrishnan, A.、Anil, C.、Duvenaud, D.、Ganguli, D.、Barez, F.、クラーク、J.、Ndousse、K.、。。ペレス、E.（2024年10月XNUMX日）。 スリーパーエージェント: 安全トレーニングを通じても存続する欺瞞的な LLM のトレーニング。 arXiv.org https://arxiv.org/abs/2401.05566
Turner, A. M., Smith, L., Shah, R., Critch, A., & Tadepalli, P. (2019年3月XNUMX日). 最適な政策は権力を追求する傾向があります。 arXiv.org https://arxiv.org/abs/1912.01683
フルガム、R.（1986）。 私が本当に知る必要があることはすべて幼稚園で学びました。 ペンギンランダムハウスカナダ。 https://www.penguinrandomhouse.ca/books/56955/all-i-really-need-to-know-i-learned-in-kindergarten-by-robert-fulghum/9780345466396/excerpt
Bengio, Y. Louradour, J., Collobert, R., Weston, J. (2009年XNUMX月). カリキュラム学習。アメリカ足病学会誌。 60(1),6頁。 https://www.researchgate.net/publication/221344862_Curriculum_learning
DeepSeek-Ai、Guo、D.、Yang、D.、Zhang、H.、Song、J.、Zhang、R.、Xu、R.、Zhu、Q.、Ma、S.、Wang、P.、Bi、X.、Zhang、. 。 Zhang, Z.（2025年22月XNUMX日）。 DeepSeek-R1: 強化学習によるLLMの推論能力の促進。 arXiv.org。 https://arxiv.org/abs/2501.12948
テスト時間のコンピューティングのスケーリング – HuggingFaceH4 による Hugging Face Space。 （NS）。 https://huggingface.co/spaces/HuggingFaceH4/blogpost-scaling-test-time-compute
Sun, Y., Wang, X., Liu, Z., Miller, J., Efros, A. A., & Hardt, M. (2019年29月XNUMX日). 分布シフト下での一般化のための自己監督によるテスト時トレーニング。 arXiv.org。 https://arxiv.org/abs/1909.13231
Chen, G.、Dong, S.、Shu, Y.、Zhang, G.、Sesay, J.、Karlsson, B. F.、Fu, J.、および Shi, Y. (2023 年 29 月 XNUMX 日)。 AutoAgents: 自動エージェント生成のためのフレームワーク。 arXiv.org https://arxiv.org/abs/2309.17288
オープンAI。（2023年18月XNUMX日）。 準備フレームワーク（ベータ版）。 https://cdn.openai.com/openai-preparedness-framework-beta.pdf
OpenAI o3-mini システムカード。 （nd）。オープンAI。 https://openai.com/index/o3-mini-system-card