OriTech

進め方

何を確かめれば出してよいと言えるか、その基準づくりから始めます。

段取り

  1. ヒアリング(30〜60分)

    対象のシステム、期限、何が壊れると困るかを伺います。

  2. 現状の診断

    開発の流れと検証の状況を調べ、リスクの階層と検証の計画を示します。

  3. 検証の設計

    何をもって出してよいとするかを決めます。受け入れの基準、LLM の出力の評価基準、要求から試験までのつながりの定義です。

  4. 検証と判定

    機械の検査、人の検証、出力のブラインド評価を行い、判定を証跡付きで報告します。

  5. 是正と再判定

    是正のあと、初回から6か月以内であれば、同じ対象をもう一度判定します。

ご用意いただくもの

  • リポジトリの読み取り権限(zip でのご提供でも構いません)
  • 仕様や設計の文書(あるものだけ)
  • 開発の担当者へのヒアリングの枠(Quick Scan は1回、Assessment は2〜3回)
  • Assessment 以上では、本番に相当する環境の読み取り権限

確かめ方の決まり

  • 実装、反証のレビュー、決まった結果の出るテスト、実際の環境での再現、出力の評価、最終の判定を、担い手(人と LLM)ごとに分けて行います
  • 通ったテストや高い精度も確かめ直し、その数字が出た理由が正しいかを見ます
  • 壊れたときの影響と取り消せるかどうかでリスクを階層に分け、上の階層ほど証跡を厚くします
  • LLM は実装、テストの候補づくり、ログの解析に使い、深刻度と判定は人が決めます

次は「費用」

まず状況をお聞かせください。

「LLM で作ったので見てほしい」だけでも構いません。対象のシステム、期限、気になっている点を、分かる範囲で送ってください。合う商品と進め方をご案内します。初回の整理は無料です。

相談する