# RAGソース品質レビュー

## 使う場面
- 社内検索、AI回答、ナレッジアシスタントなどでRAGを使う前後の品質確認
- 回答モデルではなく、検索対象・鮮度・権限・取得結果に原因がある失敗を切り分ける

## 1. 対象ユースケース
|項目|記入内容|
|---|---|
|ユーザーの質問・仕事| |
|期待する回答| |
|参照すべき情報源| |
|参照してはいけない情報| |
|更新頻度| |

## 2. ソース棚卸し
|ソース|Owner|更新頻度|信頼度|権限境界|欠損・重複|
|---|---|---|---|---|---|
| | | |高 / 中 / 低| | |

## 3. 検索品質の評価
|評価ケース|期待ソース|実際の上位結果|必要情報を取得|不要情報を混入|メモ|
|---|---|---|---|---|---|
|R-001| | |○ / ×|○ / ×| |
|R-002| | |○ / ×|○ / ×| |
|R-003| | |○ / ×|○ / ×| |

## 4. 失敗の切り分け
- [ ] 元データに必要情報が存在しない
- [ ] データが古い
- [ ] チャンク分割で文脈が欠けた
- [ ] 検索クエリが不適切
- [ ] ランキングが不適切
- [ ] 権限フィルタで必要情報が落ちた
- [ ] 不要な情報を取得した
- [ ] 取得は正しいが生成時に使えていない

## 5. プロダクト要件
- [ ] 回答に根拠・参照元を表示する
- [ ] 情報が見つからない場合は推測せず不足を示す
- [ ] ユーザー権限を越えたソースを取得しない
- [ ] 重要ソースの更新遅延を検知できる
- [ ] 検索失敗をEvalsへ戻せる

## 6. 監視指標
|指標|目標|現状|改善アクション|
|---|---:|---:|---|
|必要ソース取得率| | | |
|根拠クリック率| | | |
|回答修正率| | | |
|情報不足率| | | |
|古い情報による失敗率| | | |

## PMメモ
RAGの品質問題を「モデルの精度」で一括りにせず、ソース品質・検索・生成のどこで失敗したかを分けます。特に権限と鮮度は、検索精度とは別のリリース条件として管理します。