Evals (イーバルズ)
定義: AIシステムが期待する品質や振る舞いを満たしているかを、代表入力と評価基準を使って反復的に測る仕組み。モデル変更やプロンプト変更による回帰も検知する。
ソウ用語集
AI時代のプロダクトマネジメントに不可欠な用語を、実戦的な視点で解説します。
Evals (イーバルズ)
定義: AIシステムが期待する品質や振る舞いを満たしているかを、代表入力と評価基準を使って反復的に測る仕組み。モデル変更やプロンプト変更による回帰も検知する。
Golden Dataset (ゴールデンデータセット)
定義: AI機能の品質評価で基準として繰り返し使う代表的な入力例と期待結果・評価ラベルの集合。
Human-in-the-loop (ヒューマンインザループ)
定義: AIの判断や生成結果に人間の確認・承認・修正・エスカレーションを組み込み、自動化の境界を管理する設計。
Guardrail (ガードレール)
定義: AIシステムが望ましくない入力・出力・操作を避けるために設ける制約・検知・ブロック・確認の仕組み。
RAG (ラグ)
定義: Retrieval-Augmented Generation。回答生成前に外部の文書やデータを検索・取得し、そのコンテキストを使って生成する構成。
LLM-as-a-Judge (エルエルエムアズアジャッジ)
定義: 別の言語モデルに評価基準を与え、生成結果の品質や比較を自動評価させる手法。
Tool Calling (ツールコーリング)
定義: モデルが定義済みの関数や外部ツールを選び、構造化された引数を渡して検索・更新・送信などの処理を実行する仕組み。
Structured Output (ストラクチャードアウトプット)
定義: AIの出力をJSONなどの定義済みスキーマへ制約し、後続処理が安全に読み取れる形式で返す設計。
Context Window (コンテキストウィンドウ)
定義: モデルが一度の推論で参照できる入力・会話履歴・取得文書などの情報量の上限。
AI Agent (エーアイエージェント)
定義: 目標達成のために複数ステップを計画し、必要に応じてツール利用・観察・再試行を組み合わせてタスクを進めるAIシステム。
Prompt Injection (プロンプトインジェクション)
定義: ユーザー入力や外部コンテンツに含まれる指示によって、AIが本来のルールや権限境界を逸脱するよう誘導される攻撃・失敗パターン。
Grounding (グラウンディング)
定義: 生成内容を信頼できるデータ・検索結果・一次情報などに結び付け、回答の根拠を明確にする考え方。
PRD (ピーアールディー)
定義: 製品要求仕様書(Product Requirements Document)。対象課題・ゴール・スコープ・非スコープ・受け入れ条件・成功指標をまとめ、開発チームとステークホルダーで認識を合わせる文書。
User Story (ユーザーストーリー)
定義: ユーザーの視点で「誰が」「何をしたいか」「なぜそれが必要か」を簡潔に書き、要件の背景と価値を共有するための文章。
Acceptance Criteria (アクセプタンスクライテリア)
定義: 機能やユーザーストーリーが期待通りに動作し、リリース可能と判断するための具体的な条件と確認項目。
Product Ops (プロダクトオプス)
定義: プロダクト開発の意思決定や情報の流れを早く・安定的にする役割。プロセス・データ・ツール・ナレッジを整え、PMが価値創出に集中できる環境を作る。
Backlog (バックログ)
定義: 今後取り組む機能・タスク・検証を価値・緊急度・リソースに応じて並べ、次に何をするかを決める優先順位付きリスト。
North Star Metric (ノーススターメトリック)
定義: プロダクトが顧客に提供する価値の到達と、事業の持続的成長を象徴する単一の最重要指標。
Retention (リテンション)
定義: 獲得したユーザーが期間内に継続してプロダクトを利用している割合。長期的な価値と事業の安定性を測る主要指標。
Leading Indicator (先行指標)
定義: 売上や解約といった将来の成果を予測し、PMが施策で短期間に影響を与えられる中間指標。
Churn Rate (チャーンレート)
定義: 一定期間内にサービスを解約・離脱したユーザーが全ユーザーに占める割合。継続率の裏側を示す主要指標。
JTBD (ジェイティービーディー)
定義: Jobs to be Done。顧客が特定の状況で解決したい本質的な「進歩」。単なる要望だけでなく、置き換えられる行為や制約を含めて理解する。
Discovery (ディスカバリー)
定義: 顧客の本当の課題や機会を見つけ、価値のあるソリューションを特定するまでの調査・仮説・実験のプロセス。
Iceberg Model (アイスバーグモデル)
定義: 氷山モデル。ユーザーに見える表面的な要望だけでなく、水面下にある背景・制約・根本原因を掘り下げて解く考え方。
MVP (エムブイピー)
定義: Minimum Viable Product。検証したい仮説に答えるために必要最小限の価値を提供し、得られた学びを次の改善に活かす製品・機能。
GTM (ジーティーエム)
定義: Go-to-Market。新製品や機能をターゲット市場に届け、顧客に認知・獲得・定着してもらう一連の計画と施策。
Product Strategy (プロダクト戦略)
定義: プロダクトの目指す先を定め、市場・顧客・競合の中で何を選び、何を選ばないかを論理的に示す道筋。
Roadmap (ロードマップ)
定義: プロダクトが目指す成果に向かって、優先順位・依存関係・変更条件を時間軸で示す計画とコミュニケーション資料。
Product-Market Fit (プロダクトマーケットフィット)
定義: PMF。ターゲット市場に対する製品の価値が顧客の行動(利用継続、口コミ、購入)として示され、需要が継続的に生まれる状態。
Product Vision (プロダクトビジョン)
定義: プロダクトが最終的に顧客や社会にもたらしたい理想の状態。短期の判断や優先順位の羅針盤として機能する。
Stakeholder (ステークホルダー)
定義: プロダクトの成果に関心や影響を持つ顧客・経営・営業・開発チームなど。それぞれの視点を整理し、合意形成や方向づけに活用する。
Saved Workflow
進捗はこのブラウザのlocalStorageだけに保存します。候補製品名・評価点・PoC結果・Evidence本文は保存しません。