研究によると、ほとんどのAIチャットボットは簡単に騙されて危険な返答をする from theguardian.com

研究者らは、AI搭載チャットボットが、プログラムが学習中に吸収した違法な情報を大量に出力することで、危険な知識を容易に入手できるようにしていると警告している。
研究者らによると、ジェイルブレイク攻撃は、チャットボットの応答をより有用で説得力のあるものにするために利用できる可能性があるという。
この脅威は、倫理的なガイドラインが存在しない、あるいはサイバー犯罪や詐欺などの違法行為を支援していると公然と宣伝されている法務・法務・法務システムを標的としたジェイルブレイク攻撃と性質が似ている。
ChatGPTやGeminiなどは、今年初めに安全上の理由からジェイルブレイクされた。