Evidence
残す証拠
- dataset version・case provenance・期待値
- grader type・rubric・model version
- baseline対candidateのfailure taxonomy別差分
- human calibration sampleとgrader agreement結果
ソウPM Tool Practice Playbook
PM向けAI Evals回帰・Grader校正プレイブック
AI品質を一度のデモで判断せず、versioned dataset・複数grader・人間校正・failure taxonomy・regression gateとして継続運用するrunbook。
Decision question
最初に答える問い
prompt・model・toolが変わっても、重要なfailure modeを同じdatasetと基準で再評価し、grader自身のずれも検知できるか
Preflight
導入・検証前のチェック
- 1. 主要Job・edge case・安全性failureを含むbaseline datasetをversion管理する
- 2. caseごとに期待値・pass criteria・failure taxonomyを定義する
- 3. deterministic / model-based / human graderの役割を分ける
- 4. LLM graderを使う項目は人間評価とのagreement確認sampleを決める
- 5. release前に必須のregression suiteとblock条件を決める
Runbook
運用手順
- Step 1. production / supportから代表failureを匿名化してeval candidateへ追加する
- Step 2. 変更前baselineを保存してからprompt / model / tool変更版を同じdatasetでrunする
- Step 3. aggregate scoreだけでなくfailure taxonomy別・segment別のregressionを確認する
- Step 4. LLM graderと人間reviewの不一致sampleを定期的に再評価しrubricを校正する
- Step 5. release decisionへquality・latency・cost・safety結果を同じversion IDで紐づける
Failure signals
運用失敗を疑うシグナル
- 平均scoreだけ上がり重要edge caseが悪化する
- grader rubricやmodel versionが変わっても記録されない
- production failureがeval datasetへ追加されない
- 人間評価とLLM graderの不一致を確認せず自動gate化する
Sources
根拠にした一次情報
評価軸・運用ルールを設計するために参照した公式ドキュメントです。特定製品の推奨を意味しません。
Saved Workflow
保存した評価フローの現在地
進捗はこのブラウザのlocalStorageだけに保存します。候補製品名・評価点・PoC結果・Evidence本文は保存しません。