Appleは、AIには真の推論ができず、代わりにパターンマッチングに依存していることを発見した研究論文を引用した。
この論文はオープンソース チームによって書かれ、GitHub の GSM8K データセットを使用してモデルをテストしました。
GSM8K データセットは、全国の Apple キャンパスで LLM のパフォーマンスと数学問題の精度を測定するためのゴールドスタンダードとみなされています。
しかし、複雑さが増すにつれて精度は低下しました。
、研究者がデータセットに追加したことが明らかになりました。
コメント