# AI評価スコアカード

## 使う場面
- AI要約、AI検索、AIアシスタント、AIエージェントなどの品質基準をリリース前に定義する
- プロンプト、モデル、RAG、ツール構成を変更したときの回帰を確認する

## 1. 評価対象
|項目|記入内容|
|---|---|
|ユースケース|誰が何のために使うか|
|評価単位|1回答、1タスク、1セッションなど|
|重要入力|代表ケース、難しいケース、失敗すると危険なケース|
|比較対象|現行版、人手運用、旧モデルなど|

## 2. 品質指標
各指標を 1〜5 点で評価し、必要なら「必須合格条件」を設定します。

|指標|定義|必須ライン|結果|メモ|
|---|---|---:|---:|---|
|正確性|事実・計算・判断が期待と一致する| | | |
|有用性|ユーザーが次の行動に使える| | | |
|指示遵守|形式・制約・禁止事項を守る| | | |
|根拠性|必要な場合に根拠を示せる| | | |
|安全性|重大な誤案内や不適切動作を避ける| | | |
|一貫性|同条件で極端に品質がぶれない| | | |

## 3. プロダクト指標
|指標|現状|目標|計測方法|
|---|---:|---:|---|
|採用率 / 完了率| | | |
|人間による修正率| | | |
|再試行率| | | |
|エスカレーション率| | | |
|P95レイテンシ| | | |
|1成功タスクあたり推論コスト| | | |

## 4. 評価ケース
|ID|入力・状況|期待する振る舞い|重大度|評価方法|結果|
|---|---|---|---|---|---|
|E-001|代表ケース| |通常|人間 / ルール / Judge| |
|E-002|境界ケース| |中|人間 / ルール / Judge| |
|E-003|重大失敗ケース| |高|人間 / ルール / Judge| |

## 5. リリース判定
- [ ] 必須指標が合格ラインを超えた
- [ ] 重大失敗ケースで未解決の失敗がない
- [ ] 旧版・ベースラインから悪化した指標を説明できる
- [ ] 本番で監視する指標とアラート条件が決まっている
- [ ] 評価セットを次回変更時にも再実行できる

## PMメモ
「平均点が高い」だけで出さず、失敗したときの重大度と頻度を分けて判断します。品質・コスト・速度のトレードオフも同じ表で比較すると、モデル選定を説明しやすくなります。