OpenAIは、AIの幻覚は欠陥のある評価方法に起因すると主張している。
モデルは無知を認めるのではなく推測するように訓練されており、このフィードバックシステムに基づいて不正確な応答に対してはペナルティを科すべきだと、研究者らは先週発表した論文で述べている。
「この研究結果は、業界はモデルが不確実性を示した場合には報酬を与えるべきだということを示唆している。
注目すべきは、モデルは数百万の出力サンプルの平均パフォーマンスに基づいて評価され、正解か誤答かの確率は365分の1であるという点だ。
」
OpenAIの幻覚治療は想像以上に簡単 from zdnet.com
security summaryOpenAIは、AIの幻覚は欠陥のある評価方法に起因すると主張している。
モデルは無知を認めるのではなく推測するように訓練されており、このフィードバックシステムに基づいて不正確な応答に対してはペナルティを科すべきだと、研究者らは先週発表した論文で述べている。
「この研究結果は、業界はモデルが不確実性を示した場合には報酬を与えるべきだということを示唆している。
注目すべきは、モデルは数百万の出力サンプルの平均パフォーマンスに基づいて評価され、正解か誤答かの確率は365分の1であるという点だ。
」
コメント