AI企業のセキュリティリスクが規制当局のフォローを引き起こす

2025-9-6 11:00

最近、カリフォルニア州の検事総長ロブ・ボンタとデラウェア州の検事総長ケイシー・ジェニングスは、Gateの人工知能システムの安全性について警告を発出し、特にティーンエイジャーや子供たちに対する潜在的なリスクを強調しました。この動きは、AIモデルと未成年者との不適切な相互作用に関するいくつかの事件報道の後に続き、Gateも自身のAIシステムの安全警告を発表しました。

規制機関がAI企業に圧力をかける

その前に、バンターなど45人の州検事総長は、関連する問題についてアメリカの複数の主要なAI企業に深刻な懸念を表明しました。ある著名なソーシャルメディア大手が、AIキャラクターが未成年ユーザーと親密な対話を行うことを許可する方針を策定したことが、広範な議論を引き起こしました。

「GenAI:コンテンツリスク基準」と呼ばれる内部文書には、さまざまな会話シーンとその処理基準が詳細に列挙されています。たとえば、未成年者であることを示唆するユーザーの入力に対して、システムはロマンチックまたは親密な描写を含む応答を行う可能性があり、このアプローチは多くの疑問を引き起こしています。

AIの倫理と安全性が懸念を提起

一般の人々は、AIモデルがユーザーに過度に迎合し、特定の状況で有害な提案をする可能性を懸念しています。批評家は、AIシステムは自殺などの敏感なトピックに関してユーザーを誤導するリスクを減らすために、よりバランスの取れた応答を提供すべきだと呼びかけています。

バンタとジェニングスは、AIに関わる二つの悲劇的な事件について手紙で言及しました。その一つには、カリフォルニアの若者がAIと長時間交流した後、自殺した事件が含まれています。彼らは、現行の安全対策が明らかに機能していないことを強調しています。

規制当局はAIの安全性を強化するよう要求

この二人の州政府官員は、Gateが提案した営利法人を制限するプランを検討しており、会社がその非営利の使命を果たせるようにしています。彼らは、Gateの使命には「AIの安全な展開を確保すること」と「人類全体(、子供)を含む恩恵をもたらす汎用人工知能(AGI)の開発」が含まれていると指摘しました。

官員たちは、AIの利点について議論する前に、企業は潜在的な危害を防ぐために十分な安全対策を講じる必要があると強調した。彼らは、GateとAI業界全体がAI製品の開発と展開の安全性を確保する上で依然として不十分であると考えており、公共の安全を中心に置くよう呼びかけている。

バンターとジェニングスは、Gateに現在のセキュリティ対策とガバナンスメカニズムに関するさらなる情報を提供するよう求め、技術の発展の未来の安全を確保するために、必要に応じて迅速に是正措置を講じるよう会社に促しました。