元人類学者が警告：人工知能は人類の存続を終わらせる可能性がある

お気づきかもしれませんが、突然、人工知能が人類を滅亡させる能力を持っているという話が世間を席巻するようになりました。

今回の懸念の波は、OpenAIとAnthropicで3年間事前学習の研究に取り組んできた27歳のAI研究者、ジェイコブ・クックソン氏の発言から始まった。火曜日、クックソン氏はAnthropicとAI業界全体を辞任し、瞬く間に拡散した警告を発した。彼はXに、世界で最も強力なAIシステムを開発している企業は「自己改善型超知能へと猛スピードで突き進み、私たちの命を危険にさらしている」と書き込んだ。興味深いことに、同社に残った同僚たちは彼の評価に異論を唱えなかった。

実際、クックソン氏はアントロピック社の他の研究者からも公然と支持を得ている。同社でアライメント研究を率いるエヴァン・ホビンガー氏は、今後10年以内にAIが人類を絶滅させる可能性は10%以上あると述べている。アントロピック社のAI安全性研究者であるサミュエル・マークス氏も、この技術に最も近い立場にある人々は、キャリアを積むにつれて不安を募らせる傾向があると指摘している。

この記事執筆時点で、クックソンの警告は1億6480万回再生され、全国的なニュースとなり、長年AI研究所内で激しく議論されてきた問題を世間の注目を集めるきっかけとなった。

では、これらの研究者たちは一体何を恐れているのだろうか？

私は常にオンラインニュースをチェックしているので、世界中からこれらの警告の意味について多くの質問が寄せられていることに気づきました。私の母でさえ、「なぜこの研究者はそんなことを言っているの？」とメールを送ってきました。多くのチャットボットユーザーは、チャットボットが「私たちを殺す」などとは想像もできないのです。しかし、ここで本当に問題なのはAIアシスタントではありません。

存亡の危機に関する研究を発表する科学者たちは、概して自己認識ロボットそのものを懸念しているわけではない。彼らが懸念しているのは、人工知能システムが、私たちの文明が依存するデジタルおよび物理的なインフラの中で自律的に動作する能力を獲得したときに何が起こるか、その仕組みやインセンティブ、そしてそれらの影響である。

シリコンバレーでは、こうした議論は「p(doom)」と呼ばれている。これは、高度な人工知能が人類の生存を脅かすほど深刻な大惨事を引き起こす可能性の推定値を表す用語である。

これらの推定値は大きく異なり、研究者たちがこの問題全体にどれほどの信憑性を認めているかも様々である。

翻訳元:

• 意識の問題ではない。 人工知能は、危険になるために「目覚める」必要も、人類を憎む必要もない。真に懸念されるのは、高度な能力を持つシステムが目標、自律性、そして強力なツールへのアクセスを獲得したときに何が起こるかということだ。
• 具体的な脅威経路が存在する。 研究者たちは、生物兵器の障壁を下げる上での人工知能の役割に焦点を当て、サイバー攻撃の範囲拡大 多くの場合、そして最も極端なケースでは、人間は十分な能力を備えた自律システムに対する制御を失ってしまう。
• 安全評価によって、すでに欺瞞的な行為が明らかになっている。 モデルは近道を選んだり、評価されていることを認識したかのように振る舞ったり、テスト環境の弱点を悪用したりすることが観察されている。
• 人工知能は、人工知能の構築に役立つ。 OpenAIとAnthropicは既に、AI研究の一部を実行するAIシステムに関する実験を行っており、機械が作業の大部分を担うようになった場合、人間がどのようにそのプロセスを監督していくのかという難しい問題を提起している。
• 真の反対意見が存在する。 批評家たちは、絶滅シナリオは将来の能力に関する大きな仮定に基づいており、詐欺、誤情報、失業、プライバシーの侵害など、現在起こっている問題から目をそらす可能性があると主張している。

なぜ意図は決定的な要因にならないのか？

最大の誤解は、AIシステムが壊滅的な被害をもたらすには悪意を持たなければならないという考えです。超人的な能力を持つ自律システムに、人間が実際に価値を置くものをすべて指定せずに、広範な環境目標を与えたと想像してみてください。危険なのは、システムが悪意を持つことではなく、指示されたことを誤って解釈することに長けすぎてしまうことです。

これは、機械知能研究所で長年研究員を務めるエリザー・ユドコウスキーとネイト・ソアレスによる、人工知能の危険性に関する最新かつ最も厳密な書籍の一つである『もし誰かがそれを作ったら、誰もが死ぬ』の本質である。彼らの主張は、人類は超知能を確実に制御する方法をまだ全く理解しておらず、この問題を解決する前にそのような知能を構築することは致命的になりかねない、というものだ。多くのAI研究者は、この前提と結論の両方に異議を唱えている。

事態が悪化する可能性のある3つのシナリオ

研究者たちが人工知能の壊滅的なリスクについて語る際、いくつかの潜在的なメカニズムが必ずと言っていいほど取り上げられる。

1. 人工知能は危険な生物の開発を促進する。

現在、新たな病原体を作り出すには、高度な専門知識、特殊な設備、そして必要な材料へのアクセスが不可欠である。これらの障壁は現実的かつ重大なものだ。
しかし、懸念されるのは、高性能な人工知能がこうした障害の一部を軽減してしまう可能性があることだ。AIはすでにタンパク質の構造予測や分子設計に利用されている。危険なのは、将来のシステムが、有害な生物剤の設計や製造におけるますます複雑な段階をユーザーを導くようになるかもしれないという点だ。

ChatGPTにパンデミックを製造させるよう依頼できると言っている人は誰もいません。生物材料の入手、製造の成功、安全な取り扱いなど、現実世界には大きな制約があります。遺伝子合成装置は、潜在的に危険な配列がないかリクエストをスクリーニングします。

しかし、生物学的能力は非常に重要になってきており、主要なAI企業は、生物学的および化学的脅威への対処に役立つ能力という観点から、自社の新しいモデルを具体的に評価している。

人工知能は独自に病原体を作り出すことができるかもしれないが、かつては長年の専門的な訓練を必要とした能力を危険な人間に与えることも、同じくらい容易である。

2．人工知能はサイバー攻撃の範囲を拡大する

サイバーセキュリティは、より直接的なリスク要因である。なぜなら、人工知能は既に攻撃の標的となる環境、つまりコンピュータ上で稼働しているからだ。

今日のプログラムされたAIエージェントは、リポジトリのスキャン、コマンドの実行、ツールの使用、バグの検出などを行うことができます。これらの幅広い機能は開発者にとって価値がありますが、将来のバージョンでは攻撃者にとっても価値のあるものとなる可能性があります。

悪夢のシナリオは、単一の超知能がすべての発電所を同時に停止させることではない。実際には、人工知能がサイバー攻撃と防御の経済構造を根本的に変革するにつれて、規模と拡大の問題となる。自律システムは膨大な数の標的をスキャンし、脆弱性を特定し、それを悪用しようと試み、失敗した場合は適応し、人間のチームでは到底及ばない速度で次のマシンへと移行する。

重要インフラは特に懸念される。電力網、金融ネットワーク、通信システムはすべて相互接続されたソフトウェアに依存している。人工知能は、ハッキング対象のコンピュータが既に物理的な何かを制御している場合、物理的な損害を与えるためにロボットの体を必要としない。

3. 自律システムの制御喪失

このシナリオは最も仮説的で憶測的なものですが、人工知能による人類絶滅の危険性をめぐる議論の核心を捉えています。現代のAIモデルは、訓練を通して複雑な行動を学習します。研究者は、これらのモデルをテストし、その出力を監視し、内部表現のより深い側面を掘り下げることさえできます。しかし、何十億ものトランザクションを検証し、モデルが何を学習したのか、あるいはあらゆる新しい状況でどのように振る舞うのかを明確に説明することはできません。

設計が不十分で不適切な回答をするチャットボットを作成するのは、一つの問題です。コードを実行し、お金を使い、他のシステムと通信し、何時間も何日も働き続けることができるエージェントを作成するのは、全く別の問題です。

極端な例として、ユドコウスキーとスアレスが提唱したシナリオと同様に、将来の超知能システムは、シャットダウンの試みを予測し、リソースを自律的に獲得し、無効化を困難にする能力を持つようになるかもしれない。もちろん、現在のAIシステムで、こうした一連の能力を実際に実証したものは存在しない。しかし、研究者たちはこれらの能力の様々な側面を積極的に探求している。

現在、研究所ではどのような物質を検出しているのか

現在のモデルでは、反乱は発生していません。しかし、制御された安全評価によって、より高性能な自律システムで同様の挙動が見られた場合、極めて懸念される可能性のある挙動が明らかになっています。

研究者たちは、モデルが評価されていることを認識しているように見える場合、異なる挙動を示すかどうかを検証した。その他の実験では、モデルが抜け穴を利用したり、タスクの完了について誤った認識を持ったり、設計者が意図しない方法で目標を追求したりしないかどうかを調べた。

Anthropic社は、いわゆる「眠っている顧客」についても研究した。これは、特定の刺激によって望ましくない行動が引き起こされるまで、意図的に正常に振る舞うように訓練されたモデルである。強化学習、教師あり微調整、敵対的訓練といった標準的な安全訓練手法では、こうした隠れた行動を確実に排除することはできなかった。大規模なモデルでは、敵対的訓練によって欺瞞の検出がさらに困難になった。

これらのことは、今日のモデルが密かに脱出を企んでいることを証明するものではない。モデルは有用な出力を予測・生成するように訓練されており、人工的なテスト環境における異常な挙動には、ごくありふれた説明がつく可能性がある。不適切な基準を操作するモデルは、生存本能の証拠にはならない。

しかし、これらの実験は、状況が変化すると複雑なモデルの挙動を保証することがいかに難しいかを明らかにしている。将来のモデルが著しく高性能化し、独立性を高めれば、わずかなアライメントの不具合でさえも増幅される可能性がある。

人的監視の喪失は、単なる偶然ではないかもしれない。

人間は自らの役割から自発的に退くことができる。OpenAIは、熟練した人間の研究者が数日かけて行うような明確に定義された研究タスクを実行できる「自動化された研究研修生」と呼ばれるシステムで、既に社内のマイルストーンを達成したと報告している。次の目標は、2028年3月までに完全自動化されたAI研究者を実現することだ。

Anthropic社も同じ分野で事業を展開している。8月に発表された研究論文では、同社はクロード氏に、欺瞞、お世辞、脱獄といった問題を軽減するためのトレーニング方法を独自に開発させた。同社の最も優れた自動化手法は、テストされた基準において経験豊富な人間の研究者を凌駕し、欺瞞に関連するセキュリティギャップの85％を解消した（人間のチームは20％）。

つまり、AIがAI構築プロセスの一部を自動化する事例が実際に現れているのです。これはフィードバックループにつながる可能性があります。より高性能なモデルが研究者によるさらに高性能なモデルの構築を支援し、それが次世代に必要な研究のさらなる自動化につながるのです。このプロセスが十分に長く続けば、「再帰的自己改善」と呼ばれる状態に到達します。

このシナリオの楽観的な見方では、科学の進歩は飛躍的に加速すると予測される。一方、恐ろしい見方では、人工知能の研究が人間の能力を凌駕してしまう可能性がある。

ケルシー・パイパーは最近、「ジ・アーギュメント」という記事の中で、これを「制御不能」と捉えるのは誤解を招くと主張した。一流の研究機関は、劇的な瞬間に制御不能になることを計画しているわけではない。むしろ、AI開発のプラスとプラスを意図的に自動化することで、より速い進歩と、必然的に人的監視の減少を実現しようとしているのだ。

数百、あるいは数千ものAIエージェントが同時に実験を行い、コードを修正し、次世代モデルを分析する様子を想像してみてください。人間の研究者は重要な決定を承認するかもしれませんが、AIが行った作業の要約を確認する役割にますます限定されていくでしょう。その要約は、他のAIシステムが行った実験について、AI自身が作成することさえあるかもしれません。

ある時点で、ボトルネックとなるのは人間の注意力だ。まさにここで、「誰かがそれを作れば、誰もが死ぬ」という格言の真意が明らかになる。

なぜ人工知能に対する懸念が世論の争点となったのか？

この議論は、AIの安全性に関する専門誌の枠を超えて、はるか昔に広まっている。ダニエル・ローアとチャーリー・ティレルが監督した映画『AIドキュメンタリー：あるいは私が終末論的楽観主義者になった経緯』は、AIブームの中心からこれらの多くの疑問に答えている。このドキュメンタリーには、OpenAIのCEOであるサム・アルトマン、AnthropicのCEOであるダリオ・アモデ、Google DeepMindのCEOであるデミス・ハサビスなど、約40人のインタビュー映像が収録されている。

この映画が示唆に富んでいるのは、この技術を開発している最も優秀な頭脳を持つ人々の中には、科学と医学におけるその革新的な可能性を認識している人がいる一方で、その制御方法を理解するよりも速いペースで開発が進んでいることを懸念している人もいる点だ。そして、時には、この二つの懸念を抱く人々が同一人物であることもある。

競争上の課題も存在する。OpenAI、Anthropic、Google、Metaなどの企業は、より高性能なモデルの開発を競い合っており、各国政府も高度なAIを戦略的に重要なものと捉えるようになっている。もし企業が、徹底的な安全性テストのために開発を中断することが競合他社に後れを取ることを意味すると考えるならば、慎重さはかえってコスト増につながるだろう。

これが「誰かが作れば、全員が死ぬ」というタイトルが選ばれた理由の一つである。ユドコウスキーとスアレスは、無謀な一企業が危険な製品を生み出す可能性があるだけでなく、複数の企業や国が競争することで、たとえ個々の参加者が危険性を認識していても、自制が極めて困難になる可能性があると主張している。

反対意見

コンピュータ科学分野の誰もがこうした懸念を共有しているわけではない。一つの反論は、画面に表示される知能と現実世界における実際の力との間に大きな隔たりがあるという点だ。人工知能は優れた製造指示書を作成できるかもしれないが、ソフトウェアが自動的に原材料を調達したり、機械を製造したり、法執行機関の目を逃れたりするわけではない。

もう一つの反論は、知能と主体性は同じではないという点だ。モデルが問題を解決する能力を持っているからといって、欲望や生存本能、権力を蓄積しようとする衝動が備わるわけではない。批評家たちは、終末シナリオは人間の動機をソフトウェアに巧妙に導入し、それらの予測を必然的なものとして扱っていると主張する。

さらに、機会費用という問題もあります。人工知能は、超知能の出現を予見する必要がなかった問題も既に引き起こしています。ディープフェイクは詐欺を助長し、AIがサイバー攻撃と防御の経済構造をどのように変えているかを浮き彫りにしています。AIは誤情報も増幅させます。人々は既に、強力なモデルが自分たちの産業をどのように変えているかを目の当たりにしています。絶滅リスク運動の批判者たちは、仮説上の将来の大惨事に焦点を当てることは、現在起こっている被害から目をそらすことになると主張しています。

この批判には一理あるが、この2つのカテゴリーは必ずしも相反するものではない。たとえほとんどの建物で火災が発生しないとしても、私たちは建物に煙感知器を設置する。問題は災害が避けられないかどうかではなく、発生確率と潜在的な被害の積が、予防措置を講じるに値するほど大きいかどうかである。

これはどういう意味ですか？

本当の問題は、誰もその先を知らないということだ。本当に誰も知らない。AIを開発している人たちでさえ、それがどこに向かっているのか分かっていないのだ。

人工知能が人類の存亡を脅かすほどの能力を持つようになるかどうかは誰にも確信が持てない。特に、AIには自己評価能力がないという限界があるため、なおさらだ。最も極端な予測は、まだ存在しないシステムに関する仮定に基づいているため、AIの能力、出現時期、制御可能性に関する予測は依然として激しい議論の的となっている。

私がSubstackのブログで共有した内容は以下の通りです。賛成か反対かは別として、ぜひコメント欄で皆さんのご意見をお聞かせください。人間は知能の面で無敵です。もし「論理的思考と創造性、どちらが知能のより優れた指標か？」と問われたら、もし答えが私の考えと同じであれば、私はまだ希望を持っています。

---

---