サイバーセキュリティ企業が「TokenBreak」を発見しました。
この攻撃により、ユーザーはLLMのコンテンツモデレーション機能を回避でき、悪意のある入力が可能になります。
研究者らは、操作されたテキストは意味を保持し、標的が理解できる状態でも、保護モデルによる検出を回避できたと付け加えています。
さらに、TokenBreak攻撃は、脆弱性が判明しているBPEまたはWordPieceトークナイザー戦略を用いて悪用される可能性があります。
特に、ほとんどのLLMシステムには、プロンプトインジェクション攻撃などの脆弱性があります。
コメント