# AI失敗モードレビュー

## 使う場面
- AI機能のテストや本番ログから、失敗を個別事例ではなく再発防止できる分類へ変える
- モデル・プロンプト・RAG・ツール実行・UXのどこを直すべきか判断する

## 1. 失敗事例
|項目|記入内容|
|---|---|
|発生日 / テストID| |
|ユーザーの目的| |
|入力・状況| |
|実際の出力 / 動作| |
|期待する出力 / 動作| |
|ユーザー影響| |

## 2. 失敗分類
複数該当して構いません。

- [ ] 事実誤り・幻覚
- [ ] 指示・形式違反
- [ ] 検索 / RAGの取得漏れ・誤取得
- [ ] ツール選択・引数・実行失敗
- [ ] 権限・安全・ポリシー違反
- [ ] 過剰拒否 / 不要なエスカレーション
- [ ] コンテキスト不足・取り違え
- [ ] レイテンシ / コスト超過
- [ ] UX上の説明・復旧不足
- [ ] その他

## 3. 重大度
|観点|低|中|高|
|---|---|---|---|
|ユーザー影響|軽微な手戻り|タスク失敗|金銭・安全・重要判断へ影響|
|検知可能性|すぐ分かる|確認が必要|ユーザーが気づきにくい|
|可逆性|簡単に戻せる|一部手戻り|取り消し困難|

## 4. 原因仮説
|レイヤー|確認すること|結果|
|---|---|---|
|要件|期待する振る舞いが定義されていたか| |
|評価データ|同種ケースがEvalsに含まれていたか| |
|プロンプト|制約・例・優先順位は十分か| |
|モデル|能力・安定性がユースケースに合うか| |
|RAG / データ|検索対象・鮮度・権限・ランキングは適切か| |
|ツール|API・引数・リトライ・タイムアウトは適切か| |
|UX|不確実性表示・確認・復旧導線は十分か| |

## 5. 対応
|対応|Owner|期限|検証方法|
|---|---|---|---|
|短期の封じ込め| | | |
|恒久対策| | | |
|Evalsへの回帰ケース追加| | | |
|監視 / アラート追加| | | |

## PMメモ
失敗を「モデルが悪い」で閉じず、要件・データ・ツール・UXまで分解します。重大な失敗ほど、修正だけでなく同じ失敗を再検知できる評価ケースへ変換します。