PM向けExperimentation導入前プレイブック
実験ツールを比較する前に、割付品質、metric、guardrail、停止条件、意思決定ログを固定するための実務runbook。
PMが答える問い: 実験結果を見た後に都合よく判断基準を変えず、割付事故や計測不備を除外して意思決定できるか
ソウPM Tool Practice Playbooks
PM向けツール導入 実務プレイブック
ツール名を比較する前に、PM / Product Opsが「導入前に何を確認するか」「運用中に何を記録するか」「どの状態なら失敗とみなすか」を固定するためのrunbookです。現在10カテゴリをカバーしています。
対象: Experimentation、Session Replay & UX Analytics、Product Ops Workflow、AI Observability、Product Analytics、User Research、Roadmap、Feature Flag、AI Evals、Feedback Management
PM向けSession Replay・UX Analytics運用プレイブック
Replayを大量視聴するのではなく、privacy preflight、定量シグナルからのsampling、証拠記録、再現確認までを標準化するrunbook。
PMが答える問い: ユーザー行動の一次証拠を得ながら、機微情報を収集せず、個別セッションの印象を全体傾向と誤認しない運用ができるか
PM向けProduct Ops Intake・Triageプレイブック
Slack・CS・営業・社内依頼など複数入口を、intake contract、triage、dedupe、SLA、ownerへ正規化するための実務runbook。
PMが答える問い: 依頼チャネルが増えても、重要度・owner・期限・重複を一貫したルールで処理し、PMの頭の中をqueueにしない運用ができるか
PM向けAI Observability本番運用プレイブック
AI機能の本番traceを、品質・安全性・latency・cost・incident→eval feedback loopへ接続するための実務runbook。
PMが答える問い: AI機能で問題が起きたとき、どのrun・tool call・handoff・input/outputが原因かを追跡し、再現caseとしてevalへ戻せるか
PM向けProduct Analytics計測契約プレイブック
Product Analyticsをdashboard閲覧で終わらせず、重要event・property・identity・validation・変更責任をtracking contractとして運用するrunbook。
PMが答える問い: PMがセルフサービス分析を増やしても、同じevent名が人や時期によって別の意味にならず、意思決定に使える計測品質を維持できるか
PM向けUser Research証拠リポジトリ運用プレイブック
研究結果を要約の墓場にせず、study metadata・一次証拠・insight・taxonomy・access controlをつないで再利用するrunbook。
PMが答える問い: 過去researchを再利用するとき、結論だけでなく誰をいつどの方法で調べたかと原発言へ戻り、古い知見や機微情報を安全に扱えるか
PM向けRoadmap意思決定・更新プレイブック
Roadmapをfeatureと日付の一覧にせず、strategy・outcome・evidence・dependency・変更理由を継続更新するためのrunbook。
PMが答える問い: 優先順位や時期が変わったとき、何が変わったかだけでなく、どのevidence・goal・dependencyによって判断が変わったかを説明できるか
PM向けFeature Flag安全運用・Lifecycleプレイブック
Feature Flagをrelease switchの寄せ集めにせず、evaluation context・fallback・監査・緊急停止・expiry・cleanupまで管理するrunbook。
PMが答える問い: provider障害やtargeting誤設定が起きても安全なdefaultへ戻り、誰がいつ何を変更したか追跡し、不要flagを期限内に削除できるか
PM向けAI Evals回帰・Grader校正プレイブック
AI品質を一度のデモで判断せず、versioned dataset・複数grader・人間校正・failure taxonomy・regression gateとして継続運用するrunbook。
PMが答える問い: prompt・model・toolが変わっても、重要なfailure modeを同じdatasetと基準で再評価し、grader自身のずれも検知できるか
PM向けFeedback Management証拠・Routingプレイブック
Feedbackを件数ランキングへ直結させず、source・customer context・problem・重複・decision・follow-upを追跡可能にするrunbook。
PMが答える問い: support・sales・interview等から集まる声を、原文contextを失わず同じproblemへ統合し、採用しないfeedbackも含めて判断理由を追跡できるか
Saved Workflow
保存した評価フローの現在地
進捗はこのブラウザのlocalStorageだけに保存します。候補製品名・評価点・PoC結果・Evidence本文は保存しません。