アントロピック：研究者らはクロードを生物兵器研究に利用することを禁じられた

アントロピック社は、クロードを生物兵器研究に利用することを禁止しました。この厳格な決定の詳細と、AI大手企業がその悪用リスクにどのように対処しているかをご覧ください。

知っておくべき最も重要なこと

研究者たちは、自分たちの居場所を隠し、危険な研究を一見無害な依頼に分割することで、クロードの保護措置を回避し、アントロピック社が彼らの真の意図を把握することを困難にした。
危険なのは、人工知能が制御不能になることではなく、人間にとって危険な生物学的活動を加速させ、新たな能力を与え、正当な利用と悪意のある利用の間のグレーゾーンを生み出す能力にある。
AIの悪用に対処するには、個々のリクエストを評価するのではなく、複数のやり取りにおける疑わしい行動パターンや制限を回避しようとする試みを認識する高度な安全対策を開発する必要がある。

大手AI企業は、自社のモデルが生物兵器の開発を助長する可能性があると長年警告してきた。こうした状況の中、Anthropic社は、ある研究者グループの行動が深刻な懸念を引き起こしたため、既にサービス提供を停止せざるを得なかったことを明らかにした。新たな規制機関がAIの悪用を監視しているという報告もあり、こうした警告の重要性が改めて浮き彫りになっている。

ニューヨーク・タイムズ紙が報じたところによると、Anthropic社は今年、極めて疑わしい活動、特に生物兵器研究を示唆する活動を検知したとして、複数のユーザーを追放した。

念のため申し上げますが、Anthropicは、これらの研究者たちが致死性の病原体を開発しようとしていたという決定的な証拠は得ていません。

高度な生物学は本質的に「デュアルユース」であり、人命を救うワクチンにつながる研究が、危険な目的にも利用される可能性がある。しかし、Anthropicはこの不審な行動を検知した。研究者らは地理的な制限を回避してクラウドにアクセスし、研究目的を隠蔽する措置を講じていたという。こうした状況から、Anthropicはサービスを停止することを決定した。

彼らはどのようにしてクロードのセキュリティ対策を突破したのか？

研究者たちは文字通りClaudeを「ハッキング」したわけではない。むしろ、Anthropicによると、彼らはモデルへのアクセスポイントと最終的に達成しようとしていたことの両方を隠蔽する方法を見つけたのだという。

ある事例では、研究者が自動生成されたアカウントを使用し、サポート対象外の地域から米国を拠点とする仮想インフラストラクチャ経由でクラウドにアクセスしたと報告されている。また、Anthropicは、民間および軍事機関に所属するウイルス学者を含む多数の生命科学研究者にサービスを提供するプラットフォームを経由してクラウドへのリクエストがルーティングされていることも発見した。

研究者たちは、クラウド保護対策が発動されるのを避けるため、研究の目的を隠蔽しようと試みた。生物学分野では、個々のリクエストが、より大規模で潜在的に危険なプロジェクトに貢献している場合でも、完全に正当なものに見える可能性があるため、こうした目的の隠蔽は特に難しい。

ある事例では、チクングニアウイルスの遺伝子改変を行い、感染力や免疫回避といった特性を研究するための研究助成金申請書の作成に、科学者がクロードの協力を求めたと報じられている。この事例は、クロードが研究提案書の作成といった複雑な作業にどのように活用できるかを示している。このような研究には正当な科学的目的があり得るため、アントロピック社は、研究者たちの最終的な意図が善意によるものか悪意によるものかを判断することはできないと述べている。

しかし、アントロピック社は、機密性の高い研究内容と活動を隠蔽しようとする試みが組み合わさった結果、口座を閉鎖するのに十分であると判断した。

なぜ生物学は人工知能にとって究極のテストとなるのか？

人工知能は、シャーレの中で化学物質を混ぜ合わせたり、物理的な実験装置を使って生物兵器を製造したりすることはできない。しかし、強力な加速装置となり得る。

実験室での作業経験が豊富な人にとって、有能なAIモデルは複雑な研究内容を解き明かし、データを分析し、問題を探求・解決し、専門的な技術的ギャップを埋めることができる。AIは、困難な作業をより簡単かつ迅速に行うために必要なあらゆるものを人間に提供できるのだ。

これにより、AI企業は広大なグレーゾーンに置かれることになる。法学者と生物兵器開発者は、どちらも同じような疑問を抱く可能性がある。悪用は必ずしも単一の明確な主張という形で現れるとは限らない。誰でも大規模なプロジェクトを、一見無害に見える数十ものタスクに分解することができ、特にAIの悪用に対する懸念が高まっている現状では、セキュリティシステムが全体像を把握することは非常に困難になる。

さらに、偽陽性の問題もある。こうした安全対策が厳しすぎると、正当な科学研究を阻害する恐れがある。逆に緩すぎると、潜在的に危険な活動が見過ごされてしまう可能性がある。

すべては人間の意図次第だ。

特に昨日ジェイコブ・コックスン氏がアントロピック社を辞任し、AIへの懸念が最高潮に達した今、ここで何が起こらなかったのかを明確にしておくことが重要です。私たちはモデルが暴走したり、自律型エージェントが勝手に行動したりすることを懸念していますが、クロードは暴走しませんでしたし、自律型AIエージェントが勝手に生物兵器の計画を立て始めたわけでもありません。人間が制御していたのです。

これにより、危険性ははるかに差し迫ったものとなる。ここで懸念されるのは、超知能AIが突然人類に危害を加えることを決めるということではない。むしろ、強力なモデルによって、人々が本来持ち得ない能力を得てしまうことこそが問題なのである。

クラウドを使ってメールを作成したり、文書を要約したり、コードを書いたりする一般ユーザーにとっては何も変わりません。しかし、業界にとっては状況が一変し、多くの企業がクラウドの利用方法を見直す必要に迫られています。

では、AI企業は実際に何ができるのでしょうか？

このジレンマに対する完璧な解決策はありません。明白な質問をブロックする手法は、ユーザーが何をしようとしているのかを明確に理解している場合にのみ有効です。ユーザーが潜在的に危険なプロジェクトを、一見無害に見える数十個のリクエストに分解した場合、AI企業は個々のリクエストを個別に判断するのではなく、全体像を認識できる安全対策を講じる必要があります。

これは、モデルの安全制限を回避しようとする度重なる試みを監視したり、相互作用全体にわたる不審なパターンを監視したり、最も強力な科学的機能に対してより厳格な管理を課したりすることを意味するかもしれない。企業はまた、発売前に新しいモデルをテストし、経験の浅い個人が潜在的に危険な生物学的作業を行う際に、そのモデルがどの程度役立つかを判断することもできるだろう。

しかし、あらゆる安全対策にはトレードオフが伴う。生物兵器の開発者を検知しようとするシステムが、プロジェクトに取り組む研究者を危険にさらす可能性もある。だからこそ、Anthropic社の情報開示は非常に重要なのだ。AIの安全性における次のステップは、一見正当に見える行動パターンが、企業が介入すべきほど危険になるのはどの時点かを判断することである。