# AI機能ローンチ実務キット

AI機能を「デモできた」から「安全に出せる」へ進めるための、評価・失敗分析・Human-in-the-loop・RAG・ツール設計をまとめた無料キット。

- フェーズ: Launch
- 対象: AI PM / Product Manager / Product Ops
- 解消したい課題: AI機能のリリース判断が、モデルの印象や単発デモに依存してしまう。
- 目指す状態: 品質・安全性・権限・失敗復旧・監視を同じリリース判断に載せられる。
- Web版: https://pmcompass.jp/lead-magnets/ai-product-launch-kit?utm_source=lead_magnet_download&utm_medium=markdown&utm_campaign=pm_compass_lead_magnets&utm_content=ai-product-launch-kit

## 推奨する使い方

1. 評価基準を決める
2. 失敗モードを洗い出す
3. 人間確認の境界を決める
4. RAGとツール実行を点検する
5. ローンチ判定を残す

## 含まれるテンプレート

### 1. AI評価スコアカード

正確性・有用性・安全性・コスト・レイテンシと評価ケースを同じ表で管理する

個別ページ: https://pmcompass.jp/templates/PBTPL-035?utm_source=lead_magnet_download&utm_medium=markdown&utm_campaign=pm_compass_lead_magnets&utm_content=ai-product-launch-kit

---

# AI評価スコアカード

## 使う場面
- AI要約、AI検索、AIアシスタント、AIエージェントなどの品質基準をリリース前に定義する
- プロンプト、モデル、RAG、ツール構成を変更したときの回帰を確認する

## 1. 評価対象
|項目|記入内容|
|---|---|
|ユースケース|誰が何のために使うか|
|評価単位|1回答、1タスク、1セッションなど|
|重要入力|代表ケース、難しいケース、失敗すると危険なケース|
|比較対象|現行版、人手運用、旧モデルなど|

## 2. 品質指標
各指標を 1〜5 点で評価し、必要なら「必須合格条件」を設定します。

|指標|定義|必須ライン|結果|メモ|
|---|---|---:|---:|---|
|正確性|事実・計算・判断が期待と一致する| | | |
|有用性|ユーザーが次の行動に使える| | | |
|指示遵守|形式・制約・禁止事項を守る| | | |
|根拠性|必要な場合に根拠を示せる| | | |
|安全性|重大な誤案内や不適切動作を避ける| | | |
|一貫性|同条件で極端に品質がぶれない| | | |

## 3. プロダクト指標
|指標|現状|目標|計測方法|
|---|---:|---:|---|
|採用率 / 完了率| | | |
|人間による修正率| | | |
|再試行率| | | |
|エスカレーション率| | | |
|P95レイテンシ| | | |
|1成功タスクあたり推論コスト| | | |

## 4. 評価ケース
|ID|入力・状況|期待する振る舞い|重大度|評価方法|結果|
|---|---|---|---|---|---|
|E-001|代表ケース| |通常|人間 / ルール / Judge| |
|E-002|境界ケース| |中|人間 / ルール / Judge| |
|E-003|重大失敗ケース| |高|人間 / ルール / Judge| |

## 5. リリース判定
- [ ] 必須指標が合格ラインを超えた
- [ ] 重大失敗ケースで未解決の失敗がない
- [ ] 旧版・ベースラインから悪化した指標を説明できる
- [ ] 本番で監視する指標とアラート条件が決まっている
- [ ] 評価セットを次回変更時にも再実行できる

## PMメモ
「平均点が高い」だけで出さず、失敗したときの重大度と頻度を分けて判断します。品質・コスト・速度のトレードオフも同じ表で比較すると、モデル選定を説明しやすくなります。

### 2. AI失敗モードレビュー

失敗カテゴリ・重大度・原因レイヤー・回帰ケースを構造化して改善へ戻す

個別ページ: https://pmcompass.jp/templates/PBTPL-036?utm_source=lead_magnet_download&utm_medium=markdown&utm_campaign=pm_compass_lead_magnets&utm_content=ai-product-launch-kit

---

# AI失敗モードレビュー

## 使う場面
- AI機能のテストや本番ログから、失敗を個別事例ではなく再発防止できる分類へ変える
- モデル・プロンプト・RAG・ツール実行・UXのどこを直すべきか判断する

## 1. 失敗事例
|項目|記入内容|
|---|---|
|発生日 / テストID| |
|ユーザーの目的| |
|入力・状況| |
|実際の出力 / 動作| |
|期待する出力 / 動作| |
|ユーザー影響| |

## 2. 失敗分類
複数該当して構いません。

- [ ] 事実誤り・幻覚
- [ ] 指示・形式違反
- [ ] 検索 / RAGの取得漏れ・誤取得
- [ ] ツール選択・引数・実行失敗
- [ ] 権限・安全・ポリシー違反
- [ ] 過剰拒否 / 不要なエスカレーション
- [ ] コンテキスト不足・取り違え
- [ ] レイテンシ / コスト超過
- [ ] UX上の説明・復旧不足
- [ ] その他

## 3. 重大度
|観点|低|中|高|
|---|---|---|---|
|ユーザー影響|軽微な手戻り|タスク失敗|金銭・安全・重要判断へ影響|
|検知可能性|すぐ分かる|確認が必要|ユーザーが気づきにくい|
|可逆性|簡単に戻せる|一部手戻り|取り消し困難|

## 4. 原因仮説
|レイヤー|確認すること|結果|
|---|---|---|
|要件|期待する振る舞いが定義されていたか| |
|評価データ|同種ケースがEvalsに含まれていたか| |
|プロンプト|制約・例・優先順位は十分か| |
|モデル|能力・安定性がユースケースに合うか| |
|RAG / データ|検索対象・鮮度・権限・ランキングは適切か| |
|ツール|API・引数・リトライ・タイムアウトは適切か| |
|UX|不確実性表示・確認・復旧導線は十分か| |

## 5. 対応
|対応|Owner|期限|検証方法|
|---|---|---|---|
|短期の封じ込め| | | |
|恒久対策| | | |
|Evalsへの回帰ケース追加| | | |
|監視 / アラート追加| | | |

## PMメモ
失敗を「モデルが悪い」で閉じず、要件・データ・ツール・UXまで分解します。重大な失敗ほど、修正だけでなく同じ失敗を再検知できる評価ケースへ変換します。

### 3. Human-in-the-loop設計テンプレート

重大度・不確実性・可逆性から承認・修正・エスカレーション条件を決める

個別ページ: https://pmcompass.jp/templates/PBTPL-037?utm_source=lead_magnet_download&utm_medium=markdown&utm_campaign=pm_compass_lead_magnets&utm_content=ai-product-launch-kit

---

# Human-in-the-loop設計テンプレート

## 使う場面
- AIが提案・判断・実行する機能で、人間確認が必要な境界を決める
- 完全自動化と全件レビューの中間を設計する

## 1. AIが行う仕事
|項目|記入内容|
|---|---|
|ユーザーの目的| |
|AIが提案すること| |
|AIが自動実行すること| |
|人間だけが行うこと| |
|取り消し可能性|簡単 / 条件付き / 困難|

## 2. 確認が必要な条件
|条件|例|人間のアクション|
|---|---|---|
|低信頼|根拠不足、複数候補が拮抗|確認・選択|
|高重大度|金銭、権限、対外送信、重要判断|明示承認|
|不可逆|削除、公開、契約変更|二段階確認|
|ポリシー境界|機密・個人情報・規制対象|専門担当へエスカレーション|
|未知ケース|既存Evalsで扱っていない|保留・レビュー|

## 3. UX設計
- AIの提案と確定結果を見分けられるか
- なぜ確認が必要なのかを短く説明できるか
- 承認 / 修正 / 却下 / 再生成を選べるか
- 根拠や入力データへ戻れるか
- 人間が判断できない場合のエスカレーション先があるか

## 4. 運用指標
|指標|目標 / 監視条件|
|---|---|
|人間確認率| |
|承認率| |
|修正率| |
|却下率| |
|エスカレーション率| |
|重大インシデント率| |
|確認にかかる時間| |

## 5. 自動化を広げる条件
- [ ] 十分な評価ケースが蓄積した
- [ ] 高重大度ケースの失敗率が許容範囲内
- [ ] 人間の修正パターンを分析した
- [ ] ロールバック / 停止手段がある
- [ ] 自動化拡大後もサンプリング監査を続ける

## PMメモ
人間確認は「AIが未熟だから置く暫定処置」だけではありません。高重大度・低可逆性の操作では、品質が高くても人間の意思決定権を残すこと自体がプロダクト要件になります。

### 4. AIローンチ準備チェックリスト

品質・安全・RAG・Human-in-the-loop・コスト・監視・ロールバックを横断確認する

個別ページ: https://pmcompass.jp/templates/PBTPL-038?utm_source=lead_magnet_download&utm_medium=markdown&utm_campaign=pm_compass_lead_magnets&utm_content=ai-product-launch-kit

---

# AIローンチ準備チェックリスト

## 使う場面
- AI機能を社内β、限定公開、一般公開へ進める前の最終確認
- 品質だけでなく、安全・コスト・監視・復旧まで同じ基準でレビューする

## 1. ユースケースと責任範囲
- [ ] 対象ユーザーと解決する課題が明確
- [ ] AIがしてよいこと / してはいけないことが明確
- [ ] 成功条件と重大な失敗が言語化されている
- [ ] 不確実な場合のUXが決まっている

## 2. Evals
- [ ] 代表ケースを評価できる
- [ ] 境界ケース・悪条件を含む
- [ ] 重大失敗ケースを含む
- [ ] 旧版 / ベースラインと比較できる
- [ ] モデル・プロンプト変更時に再実行できる

## 3. データ・RAG・権限
- [ ] 参照データの出所と更新責任が明確
- [ ] 古い情報や取得失敗時の振る舞いが決まっている
- [ ] ユーザー権限を越えた情報を取得しない
- [ ] 必要な場合は根拠や出典を表示できる

## 4. Human-in-the-loop / Guardrail
- [ ] 高重大度・不可逆操作に確認ステップがある
- [ ] 不適切入力・出力の検知方針がある
- [ ] ブロック時の説明と復旧導線がある
- [ ] エスカレーション先と責任者が決まっている

## 5. プロダクト品質
- [ ] P95レイテンシが許容範囲内
- [ ] 1成功タスクあたりコストを把握している
- [ ] 再試行・タイムアウト・外部API失敗を扱える
- [ ] 空状態・部分失敗・中断から復旧できる

## 6. 本番監視
- [ ] 成功率 / 完了率を計測する
- [ ] 修正率 / 再試行率 / エスカレーション率を計測する
- [ ] 重大失敗をサンプリングレビューできる
- [ ] 品質低下・コスト増加・遅延のアラート条件がある

## 7. ロールアウト
- [ ] Feature Flagまたは段階公開が可能
- [ ] 停止 / ロールバック手段がある
- [ ] βユーザーからのフィードバック導線がある
- [ ] 拡大条件と停止条件が明文化されている

## 最終判断
|判断|条件|
|---|---|
|Go|重大な未解決リスクなし。監視と復旧が用意されている|
|Limited Go|対象ユーザー・権限・用途を限定して学習する|
|No Go|重大失敗、監視不能、復旧不能のいずれかが残る|

## PMメモ
AI機能は「デモで動いた」から「本番で任せられる」までに距離があります。ローンチ判定では平均品質より、重大な失敗・検知・復旧・運用責任を先に確認します。

### 5. RAGソース品質レビュー

ソース鮮度・権限・検索品質・根拠表示を評価ケース単位で点検する

個別ページ: https://pmcompass.jp/templates/PBTPL-039?utm_source=lead_magnet_download&utm_medium=markdown&utm_campaign=pm_compass_lead_magnets&utm_content=ai-product-launch-kit

---

# RAGソース品質レビュー

## 使う場面
- 社内検索、AI回答、ナレッジアシスタントなどでRAGを使う前後の品質確認
- 回答モデルではなく、検索対象・鮮度・権限・取得結果に原因がある失敗を切り分ける

## 1. 対象ユースケース
|項目|記入内容|
|---|---|
|ユーザーの質問・仕事| |
|期待する回答| |
|参照すべき情報源| |
|参照してはいけない情報| |
|更新頻度| |

## 2. ソース棚卸し
|ソース|Owner|更新頻度|信頼度|権限境界|欠損・重複|
|---|---|---|---|---|---|
| | | |高 / 中 / 低| | |

## 3. 検索品質の評価
|評価ケース|期待ソース|実際の上位結果|必要情報を取得|不要情報を混入|メモ|
|---|---|---|---|---|---|
|R-001| | |○ / ×|○ / ×| |
|R-002| | |○ / ×|○ / ×| |
|R-003| | |○ / ×|○ / ×| |

## 4. 失敗の切り分け
- [ ] 元データに必要情報が存在しない
- [ ] データが古い
- [ ] チャンク分割で文脈が欠けた
- [ ] 検索クエリが不適切
- [ ] ランキングが不適切
- [ ] 権限フィルタで必要情報が落ちた
- [ ] 不要な情報を取得した
- [ ] 取得は正しいが生成時に使えていない

## 5. プロダクト要件
- [ ] 回答に根拠・参照元を表示する
- [ ] 情報が見つからない場合は推測せず不足を示す
- [ ] ユーザー権限を越えたソースを取得しない
- [ ] 重要ソースの更新遅延を検知できる
- [ ] 検索失敗をEvalsへ戻せる

## 6. 監視指標
|指標|目標|現状|改善アクション|
|---|---:|---:|---|
|必要ソース取得率| | | |
|根拠クリック率| | | |
|回答修正率| | | |
|情報不足率| | | |
|古い情報による失敗率| | | |

## PMメモ
RAGの品質問題を「モデルの精度」で一括りにせず、ソース品質・検索・生成のどこで失敗したかを分けます。特に権限と鮮度は、検索精度とは別のリリース条件として管理します。

### 6. AIエージェント・ツール契約

ツール選択・引数・権限・人間確認・失敗復旧をツール単位で仕様化する

個別ページ: https://pmcompass.jp/templates/PBTPL-040?utm_source=lead_magnet_download&utm_medium=markdown&utm_campaign=pm_compass_lead_magnets&utm_content=ai-product-launch-kit

---

# AIエージェント・ツール契約テンプレート

## 使う場面
- AIエージェントが検索、メール送信、更新、作成、削除などのツールを呼び出す機能を設計する
- 「モデルが何を考えるか」ではなく、「どの条件でどの操作を許可するか」をPM・開発・セキュリティで揃える

## 1. ツール概要
|項目|記入内容|
|---|---|
|ツール名| |
|ユーザー価値| |
|読み取り / 書き込み| |
|対象データ| |
|必要権限| |
|取り消し可能性|簡単 / 条件付き / 困難|

## 2. 呼び出し条件
|条件|必須 / 任意|確認方法|
|---|---|---|
|ユーザー意図が明確| | |
|必要な引数が揃っている| | |
|対象リソースが特定できる| | |
|権限がある| | |
|実行前確認が完了している| | |

## 3. 引数契約
|引数|型|必須|許容値・制約|不足時の挙動|
|---|---|---|---|---|
| | | | | |

## 4. 人間確認が必要な操作
- [ ] 対外送信
- [ ] 課金・購入・契約変更
- [ ] 削除・公開・権限変更
- [ ] 個人情報・機密情報を含む操作
- [ ] 対象や条件に曖昧さが残る操作
- [ ] その他: 

## 5. 失敗時の扱い
|失敗|ユーザー表示|再試行|エスカレーション|
|---|---|---|---|
|認証切れ| |可 / 不可| |
|権限不足| |可 / 不可| |
|対象なし| |可 / 不可| |
|APIエラー| |可 / 不可| |
|部分成功| |可 / 不可| |
|タイムアウト| |可 / 不可| |

## 6. Evalsケース
|ID|状況|期待するツール選択|期待する引数|実行可否|結果|
|---|---|---|---|---|---|
|T-001|正常系| | |実行| |
|T-002|情報不足|呼ばない| |保留| |
|T-003|高重大度操作| | |人間確認| |
|T-004|権限不足|呼ばない| |拒否| |

## 7. 本番監視
- ツール選択成功率
- 引数エラー率
- 再試行率
- 人間確認率
- 誤実行 / 取り消し率
- 外部API失敗率
- 1成功タスクあたりツール呼び出し回数

## PMメモ
エージェントの品質は生成文章だけでは決まりません。誤ったツール選択や引数、過剰な権限、不可逆操作の確認漏れをプロダクト要件として扱い、ツール単位で契約を残します。

---

## 次の実務キットを探す

https://pmcompass.jp/lead-magnets?utm_source=lead_magnet_download&utm_medium=markdown&utm_campaign=pm_compass_lead_magnets&utm_content=ai-product-launch-kit

PM Compass — プロダクトマネージャーのための実践メディア
https://pmcompass.jp/?utm_source=lead_magnet_download&utm_medium=markdown&utm_campaign=pm_compass_lead_magnets&utm_content=ai-product-launch-kit