LLM審査員の個別判定は信頼できるか
原題 Can We Trust This Evaluation? Instance-Level Reliability of LLM-as-a-Judge
LLMを審査員にする評価では複数判定の多数決が一般的だが、個々の項目の信頼性は保証されない。論文は項目単位で信頼度を測る方法を扱う。
論点
LLM審査員の多数決は信用できるか
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
人手評価は遅く高い。多数決で十分実用になり、研究は加速する。反対側の視点
同じ偏りを持つ審査員を並べても偏りが増幅されるだけ。評価が循環している。
みんなのコメント 件
コメントを書く