進め方
何を確かめれば出してよいと言えるか、その基準づくりから始めます。
段取り
ヒアリング(30〜60分)
対象のシステム、期限、何が壊れると困るかを伺います。
現状の診断
開発の流れと検証の状況を調べ、リスクの階層と検証の計画を示します。
検証の設計
何をもって出してよいとするかを決めます。受け入れの基準、LLM の出力の評価基準、要求から試験までのつながりの定義です。
検証と判定
機械の検査、人の検証、出力のブラインド評価を行い、判定を証跡付きで報告します。
是正と再判定
是正のあと、初回から6か月以内であれば、同じ対象をもう一度判定します。
ご用意いただくもの
- リポジトリの読み取り権限(zip でのご提供でも構いません)
- 仕様や設計の文書(あるものだけ)
- 開発の担当者へのヒアリングの枠(Quick Scan は1回、Assessment は2〜3回)
- Assessment 以上では、本番に相当する環境の読み取り権限
確かめ方の決まり
- 実装、反証のレビュー、決まった結果の出るテスト、実際の環境での再現、出力の評価、最終の判定を、担い手(人と LLM)ごとに分けて行います
- 通ったテストや高い精度も確かめ直し、その数字が出た理由が正しいかを見ます
- 壊れたときの影響と取り消せるかどうかでリスクを階層に分け、上の階層ほど証跡を厚くします
- LLM は実装、テストの候補づくり、ログの解析に使い、深刻度と判定は人が決めます
まず状況をお聞かせください。
「LLM で作ったので見てほしい」だけでも構いません。対象のシステム、期限、気になっている点を、分かる範囲で送ってください。合う商品と進め方をご案内します。初回の整理は無料です。