毎日回せる軽量LLM評価「GardenBench」
原題 GardenBench: A lightweight, daily evaluation of LLM capabilities
11のテストスイートでLLMの能力を測るベンチマークGardenBenchが公開された。さまざまなプロンプトを与えて評価し、毎日実施できる軽量さを特徴とする。
論点
日次ベンチは汚染されたLLM評価の解になるか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
固定ベンチは対策され尽くす。毎日回して変動を見るほうが、実力に近い。反対側の視点
軽量で毎日では、ノイズとプロンプト依存が増す。日々の数字に一喜一憂するだけだ。
みんなのコメント 件
コメントを書く