RAG検証を軽量検証器と大型LLMの二段構えに
原題 Jev-as-a-Judge for RAG Claim Verification: Confidence-Gated Cascading Between a Non-Generative Verifier and a Frontier LLM
RAGの「根拠は主張を支えるか」という1ビットの判定を、多くは高コストなテキスト生成で行っている。Jevは非生成型の検証器を先に使い、確信度が低い場合だけ最先端LLMに回す段階式を提案する。
論点
検証まで巨大LLMに任せるのは無駄か
- コメントを読み込み中…
議論のヒントを見る
賛成側の視点
1ビットの判定に生成モデルは過剰。軽量検証器で大半を捌くのが当然だ。反対側の視点
検証こそ最強モデルの出番。安物で誤判定すれば、RAG全体の信頼が崩れる。

みんなのコメント 件
コメントを書く