「ちょっと待ってください…元帳のエントリを OpenAI に送信しているのですか?」
これは、私がサンフランシスコで開催されたハッカソンで開発したAI搭載の日記アプリ「Feel-Write」を友人に見せたとき、彼女が最初に尋ねた質問だった。
私は肩をすくめた。
「AIをテーマにしたハッカソンだったので、すぐに何かを作る必要がありました。」
彼女は一瞬たりとも見逃さなかった。
「もちろんです。でも、自分が作ったものをどうやって信頼できるというのでしょう？ 自分でLLMをホストしてみてはどうでしょうか？」
それで私は立ち止まりました。
アプリがいかに早く完成したかを誇りに思いました。しかし、この 1 つの質問とそれに続く質問によって、AI を責任を持って構築することについて私が知っていると思っていたことがすべて明らかになりました。ハッカソンの審査員もその点に触れていました。
その瞬間、私は AI を使って構築するとき、特に機密データを扱うツールを使うとき、私たちがいかに無礼であるかを実感しました。
私はもっと大きなことに気づきました。
AI を使って構築する場合、信頼については十分に話し合われません。
彼女の答えが私の心に残った。ジョージア・フォン・ミンデンは ACLU のデータ サイエンティストであり、法律および公民権の分野における個人を特定できる情報に関連する問題に密接に取り組んでいます。私はいつも彼女の洞察力に感謝してきましたが、この会話は違いました。
そこで私はPlusに、特にAIシステムが個人データを扱う場合、この文脈における信頼とは一体何を意味するのかを説明してもらった。
彼女は私にこう言いました。
信頼関係を築くのは難しい場合もありますが、データガバナンスは良い出発点となります。データの所有者、保管方法、そして使用目的はすべて重要です。10年前なら、私はこの質問に違った答えを出していたでしょう。しかし今日では、膨大な計算能力と膨大なデータストアが存在するため、広範な推論は現実的な懸念事項です。OpenAIはコンピューティングとデータの両方に広範なアクセス権限を持っているため、透明性の欠如は慎重な対応を強いる要因となっています。
個人を特定できる情報（PII）に関しては、規制と常識の両方から、強力なデータガバナンスの必要性が指摘されています。API呼び出しで個人を特定できる情報を送信することは、単にリスクが高いだけでなく、これらの規則に違反し、個人を危険にさらす可能性があります。
AI を使って構築する場合、特に機密性の高い人間のデータを扱うシステムを構築する場合は、単にコードを書いているのではないということを思い出しました。
私たちはプライバシー、権限、信頼に関する決定を下します。
ユーザーデータ、特に日記のエントリのような個人的なデータを収集した瞬間から、責任の領域に足を踏み入れることになります。モデルが何ができるかだけが重要なのではありません。それは、そのデータがどうなるか、どこに保存されるか、誰がアクセスできるかに関するものです。ユーザーデータを責任を持って管理することで、ユーザーの信頼が高まり、プライバシーが強化されます。
シンプルさの幻想
今日では、見た目がスマートなものを立ち上げることがかつてないほど簡単になりました。 OpenAI などの大規模言語モデル (LLM) を使用すると、開発者は数時間で AI ツールを構築できます。スタートアップ企業は「AI 搭載」機能を一夜にして立ち上げることができます。機関についてはどうですか?同社はこれらのエージェントを自社のワークフローに統合することを急いでいます。
しかし、こうした熱狂の中で、しばしば見落とされがちなことが一つある。それは信頼だ。
人々がAIエージェントについて語る時、多くの場合、大規模言語モデル（LLM）を単純にラップしたものを指します。これらのエージェントは、質問に答えたり、タスクを自動化したり、意思決定を行ったりすることができます。しかし、多くはセキュリティ、コンプライアンス、説明責任にほとんど注意を払わずに、急いで構築されています。
OpenAI製品を使っているからといって、それが安全だとは限りません。本当に信頼できるのは、パイプライン全体です。
- カバーを作ったのは誰ですか?
- データはどのように扱われますか?
- あなたの情報は保存、記録されていますか? あるいは、さらに悪いことに、漏洩されていますか?
私自身も顧客向けユースケースでOpenAIのAPIを利用してきました。最近、クレームデータを共有することに同意すれば、4月末まで1日あたり最大100万トークンまでAPIを無料で利用できるというオファーを受けました。
私は個人的なサイドプロジェクトとしてこれに同意するところだったが、その時、ソリューションプロバイダーがコスト削減のために同じ契約を結んだ場合、そのユーザーは自分のデータが共有されていることに全く気づかないだろうと気づいた。個人的なレベルでは、これは無害に思えるかもしれません。しかし、その制度の文脈ではどうでしょうか?これはプライバシーの重大な侵害であり、契約上または規制上の義務に違反する可能性もあります。
たった 1 人のエンジニアがこのような取引に「はい」と答えるだけで、顧客データは他人の手に渡ってしまいます。
エンタープライズAIが期待を高める
SaaS企業や開発ツールのスタートアップ企業で、AIエージェントの実験が増えているのを目にします。中には良い成果を上げているものもあり、中にはユーザーが独自の大規模言語モデル（LLM）を持ち込むことができるAIエージェントもあり、モデルの実行場所やデータの処理方法をユーザーが制御できます。特に企業におけるAIの重要性が高まっている今、これは賢明なアプローチと言えるでしょう。
これは思慮深いアプローチです。つまり、信頼の限界を自分で定義するということです。
しかし、誰もがそう熱心というわけではありません。
多くの企業は、OpenAI の API に接続し、いくつかのボタンを追加するだけで、それを「エンタープライズ対応」と呼んでいます。
警告: これは真実ではありません。
何が問題になるのでしょうか?たくさん。
厳しい質問をせずに AI エージェントをインフラストラクチャに統合すると、次のような潜在的なリスクが生じます。
- データ漏洩請求には機密性の高い顧客データ、API キー、内部ロジックなどが含まれる場合があり、サードパーティのフォームに送信された場合、それらが公開される可能性があります。
2023年、サムスンのエンジニアが誤って社内ソースコードとメモをChatGPTに貼り付けてしまった（Forbes）。このデータは将来の学習データセットの一部となる可能性があり、知的財産権に対する重大なリスクとなっている。
- コンプライアンス違反適切な制御なしに OpenAI などのフォームを通じて個人を特定できる情報 (PII) を送信すると、一般データ保護規則 (GDPR)、HIPAA、または契約に違反する可能性があります。
イーロン・マスク氏の会社Xは、このことを痛いほど思い知らされた。同社は、適切な監視なしに、EUユーザーからの投稿を含むすべてのユーザー投稿を学習データとして使用してAIチャットボット「Grok」をリリースした。規制当局はすぐに介入し、圧力に屈してEUにおけるGrokの学習を停止した（Politico）。
- 曖昧な行動非決定論的なエージェントは修正したり説明したりすることが困難です。チャットボットがなぜ間違った提案をしたのか、あるいは機密情報を漏らしたのかを顧客が尋ねたらどうなるでしょうか?この質問に答えるには透明性が必要ですが、今日の多くのエージェントはそれを提供していません。
- データの所有権に関する混乱製品の所有者は誰ですか?誰がデータを記録しますか?サービスプロバイダーは入力内容に基づいて再トレーニングを行いますか?
Zoomは2023年にまさにそのような行為を行っていたことが発覚した。顧客の会議データを人工知能の学習に利用することを許可するよう、ひっそりと利用規約を変更したのだ（Fast Company）。世論の強い反発を受け、方針を撤回したが、信頼は一夜にして失われる可能性があることを改めて思い知らされた。
- パッケージのセキュリティ上の欠陥2024年には、人気のローコードLLMオーケストレーションツールであるFlowiseのデプロイメントが数十件、インターネットに公開されていることが判明し、その多くは認証なしでした（サイバーセキュリティニュース）。研究者は、API キー、データベース認証情報、およびユーザー データが公開されていることを発見しました。これは OpenAI の問題ではありません。これは問題です。 ビルダー。しかし、エンドユーザーは依然として代償を払うことになる。
- 行き過ぎたAI機能マイクロソフトの「リコール」機能（コパイロットのロールアウトの一部）は、AIアシスタントが質問に答えるのを助けるために、ユーザーのアクティビティのスクリーンショットを自動的にキャプチャします（DoublePulsar）。それは便利そうに思えた…しかし、セキュリティ専門家がプライバシーの悪夢だと指摘するまでは。マイクロソフトはすぐに方針を転換し、この機能をオプションのみにしなければなりませんでした。
すべてに OpenAI が必要なわけではありません。
OpenAI は非常に強力なプラットフォームです。しかし、それが常に最善の解決策であるとは限りません。
場合によっては、より小さなローカル モデルで十分なこともあります。場合によっては、ルールベースのロジックの方が効果的です。最も安全なオプションは、多くの場合、独自のルールに従って、完全に独自のインフラストラクチャ内で動作するオプションです。
大規模言語モデル (LLM) を盲目的に導入して、「インテリジェント アシスタント」と呼ぶべきではありません。
組織において、信頼、透明性、そして統制は、オプションではなく、不可欠な要素である。
こうした制御を可能にするプラットフォームは増加傾向にあります。SalesforceのEinstein 1 Studioは「独自のモデルを持ち込む」機能をサポートしており、AWSやAzureから大規模言語モデル（LLM）を接続できます。IBMのWatsonは、組織が完全な監査証跡を残しながらモデルを内部的に展開することを可能にします。DatabricksはMosaicMLを使用することで、クラウド内でプライベートな大規模言語モデル（LLM）をトレーニングできるため、機密データがインフラストラクチャから外部に漏れることはありません。
これが真のエンタープライズ AI のあるべき姿です。
結論
AI エージェントは非常に強力で、これまで実現できなかったワークフローと自動化を可能にします。しかし、特に大規模な機密データを扱う場合には、開発の容易さが必ずしもセキュリティを意味するわけではありません。
この新しいエージェントを使い始める前に、次のことを自問してみてください。
- モデルを管理するのは誰ですか?
- データはどこに保存されますか?
- 当社は規制に準拠していますか?
- 彼が何をしているのか確認してもらえますか？
人工知能の時代において、最大の危険は劣悪な技術ではなく、盲目的な信頼である。
著者について
私はエレンです。6年間の経験を持つ機械学習エンジニアで、現在はサンフランシスコのフィンテックのスタートアップ企業で働いています。私の経歴は、石油・ガスコンサルティングにおけるデータサイエンスの役割に加え、アジア太平洋、中東、ヨーロッパ全体での AI およびデータ トレーニング プログラムの主導にまで及びます。
私は現在、データサイエンスの修士号を取得中で（2025年XNUMX月に卒業予定）、機械学習エンジニアとしての次の機会を積極的に探しています。紹介やつながりを歓迎していただける場合は、本当に感謝いたします。
私は AI を通じて世界に真の影響を与えることに情熱を注いでおり、プロジェクトベースのコラボレーションにも常にオープンです。
コメントは締め切りました。