ソウテンプレートプレビュー
AIローンチ準備チェックリスト
品質・安全・RAG・Human-in-the-loop・コスト・監視・ロールバックを横断確認する
テンプレートの概要
カテゴリ: AI対象: Product Ops形式: Markdown
解決する課題: AI機能のリリース判断がデモ品質だけに寄りやすい
このテンプレートの効果: 品質・安全・RAG・Human-in-the-loop・コスト・監視・ロールバックを横断確認する
対象読者: Product Ops
ファイル形式: Markdown
テンプレート本文
テンプレート プレビュー
AIローンチ準備チェックリスト
使う場面
- AI機能を社内β、限定公開、一般公開へ進める前の最終確認
- 品質だけでなく、安全・コスト・監視・復旧まで同じ基準でレビューする
1. ユースケースと責任範囲
2. Evals
3. データ・RAG・権限
4. Human-in-the-loop / Guardrail
5. プロダクト品質
6. 本番監視
7. ロールアウト
最終判断
| 判断 | 条件 |
|---|---|
| Go | 重大な未解決リスクなし。監視と復旧が用意されている |
| Limited Go | 対象ユーザー・権限・用途を限定して学習する |
| No Go | 重大失敗、監視不能、復旧不能のいずれかが残る |
PMメモ
AI機能は「デモで動いた」から「本番で任せられる」までに距離があります。ローンチ判定では平均品質より、重大な失敗・検知・復旧・運用責任を先に確認します。
# AIローンチ準備チェックリスト ## 使う場面 - AI機能を社内β、限定公開、一般公開へ進める前の最終確認 - 品質だけでなく、安全・コスト・監視・復旧まで同じ基準でレビューする ## 1. ユースケースと責任範囲 - [ ] 対象ユーザーと解決する課題が明確 - [ ] AIがしてよいこと / してはいけないことが明確 - [ ] 成功条件と重大な失敗が言語化されている - [ ] 不確実な場合のUXが決まっている ## 2. Evals - [ ] 代表ケースを評価できる - [ ] 境界ケース・悪条件を含む - [ ] 重大失敗ケースを含む - [ ] 旧版 / ベースラインと比較できる - [ ] モデル・プロンプト変更時に再実行できる ## 3. データ・RAG・権限 - [ ] 参照データの出所と更新責任が明確 - [ ] 古い情報や取得失敗時の振る舞いが決まっている - [ ] ユーザー権限を越えた情報を取得しない - [ ] 必要な場合は根拠や出典を表示できる ## 4. Human-in-the-loop / Guardrail - [ ] 高重大度・不可逆操作に確認ステップがある - [ ] 不適切入力・出力の検知方針がある - [ ] ブロック時の説明と復旧導線がある - [ ] エスカレーション先と責任者が決まっている ## 5. プロダクト品質 - [ ] P95レイテンシが許容範囲内 - [ ] 1成功タスクあたりコストを把握している - [ ] 再試行・タイムアウト・外部API失敗を扱える - [ ] 空状態・部分失敗・中断から復旧できる ## 6. 本番監視 - [ ] 成功率 / 完了率を計測する - [ ] 修正率 / 再試行率 / エスカレーション率を計測する - [ ] 重大失敗をサンプリングレビューできる - [ ] 品質低下・コスト増加・遅延のアラート条件がある ## 7. ロールアウト - [ ] Feature Flagまたは段階公開が可能 - [ ] 停止 / ロールバック手段がある - [ ] βユーザーからのフィードバック導線がある - [ ] 拡大条件と停止条件が明文化されている ## 最終判断 |判断|条件| |---|---| |Go|重大な未解決リスクなし。監視と復旧が用意されている| |Limited Go|対象ユーザー・権限・用途を限定して学習する| |No Go|重大失敗、監視不能、復旧不能のいずれかが残る| ## PMメモ AI機能は「デモで動いた」から「本番で任せられる」までに距離があります。ローンチ判定では平均品質より、重大な失敗・検知・復旧・運用責任を先に確認します。
Use it in a workflow
このテンプレートを、仕事の流れごと持ち帰る
単品だけでなく、前後の作業に必要なテンプレートも順番つきでまとめています。登録不要で一括ダウンロードできます。
Saved Workflow
保存した評価フローの現在地
進捗はこのブラウザのlocalStorageだけに保存します。候補製品名・評価点・PoC結果・Evidence本文は保存しません。