Microsoft は、生成人工知能システムのリスクをプロアクティブに特定するために、PyRIT と呼ばれるオープンアクセスの自動化フレームワークをリリースしました。
このツールは、捏造、幻覚、悪用、禁止コンテンツなどを含むさまざまな危害カテゴリーに対する大規模言語モデルのエンドポイントの堅牢性を評価するために使用されます。
また、マルウェアの生成から脱獄に至るまでのセキュリティ上の危害を特定できるようになります。
AI レッドチームのリーダー.nnnd 氏は、「潜在的な盲点を特定するには、時間はかかりますが、手動による調査が必要になることがよくあります」と述べています。
コメント