数学推論を過程から測る新ベンチMAMath-Bench
原題 MAMath-Bench: Process-Aware and Robust Evaluation of Multimodal Multi-Agent Mathematical Reasoning
教育用途のLLMでは、答えの正しさだけでなく筋の通った推論過程が求められる。MAMath-Benchは、画像を含むマルチモーダルな数学問題を複数エージェントで解く能力を、過程重視かつ頑健に評価するベンチマークとして提案された。
論点
AI家庭教師の評価は答えより過程で決めるべきか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
過程が間違った正解は教育を壊す。理屈を説明できないAIに子どもは任せられない。反対側の視点
結局は正答率がすべて。過程の採点基準は恣意的で、新たな水増し指標になるだけだ。
みんなのコメント 件
コメントを書く