AI はその潜在能力を発揮できていないのではなく、過大評価されているのだと BlueOptima は述べた。
この調査では、最高の AI コーディング モデルでも、実際の運用コードで作業した場合、成功率は 23% 未満であることが判明した。
特に注目すべきは、ほとんどのモデルが一般的なベンチマーク テストで 85% 以上のスコアを獲得したが、運用保守タスク (C、C )、および Python では平均 17% の成功率だったことだ。
「この技術には限界があるが、賢明な意思決定に利用できる」と Linthicum 氏は付け加え、今日のビジネス環境での人工知能の使用についてさらに述べた。
コメント