# Human-in-the-loop設計テンプレート

## 使う場面
- AIが提案・判断・実行する機能で、人間確認が必要な境界を決める
- 完全自動化と全件レビューの中間を設計する

## 1. AIが行う仕事
|項目|記入内容|
|---|---|
|ユーザーの目的| |
|AIが提案すること| |
|AIが自動実行すること| |
|人間だけが行うこと| |
|取り消し可能性|簡単 / 条件付き / 困難|

## 2. 確認が必要な条件
|条件|例|人間のアクション|
|---|---|---|
|低信頼|根拠不足、複数候補が拮抗|確認・選択|
|高重大度|金銭、権限、対外送信、重要判断|明示承認|
|不可逆|削除、公開、契約変更|二段階確認|
|ポリシー境界|機密・個人情報・規制対象|専門担当へエスカレーション|
|未知ケース|既存Evalsで扱っていない|保留・レビュー|

## 3. UX設計
- AIの提案と確定結果を見分けられるか
- なぜ確認が必要なのかを短く説明できるか
- 承認 / 修正 / 却下 / 再生成を選べるか
- 根拠や入力データへ戻れるか
- 人間が判断できない場合のエスカレーション先があるか

## 4. 運用指標
|指標|目標 / 監視条件|
|---|---|
|人間確認率| |
|承認率| |
|修正率| |
|却下率| |
|エスカレーション率| |
|重大インシデント率| |
|確認にかかる時間| |

## 5. 自動化を広げる条件
- [ ] 十分な評価ケースが蓄積した
- [ ] 高重大度ケースの失敗率が許容範囲内
- [ ] 人間の修正パターンを分析した
- [ ] ロールバック / 停止手段がある
- [ ] 自動化拡大後もサンプリング監査を続ける

## PMメモ
人間確認は「AIが未熟だから置く暫定処置」だけではありません。高重大度・低可逆性の操作では、品質が高くても人間の意思決定権を残すこと自体がプロダクト要件になります。