プロンプトコントロールはアプリケーションセキュリティの新たな玄関口です from securityboulevard.com

調査によると、推論制御はAI駆動型システムにおけるアプリケーションのフロントドアに相当する機能的役割を担っています。
プロンプト層、トークン層、出力層が主な課題となっており、トークン制御が最も影響の大きい領域として挙げられています。
しかし、出力フィルターはそれぞれ19%と14%と低い評価でした。
インジェクション攻撃、コンテキストポイズニング、メモリ操作などは、モデルが1トークンを生成する前に発生します。
特に、推論モデルにはより多くの注意が必要です。