OriTech

できること

本番に出してよいかを、担当者の心証ではなく判定と証跡で、上司・顧客・監査に説明できるようにします。

確かめること

コードが正しいかと、AI の判断や出力が正しいかを、まとめて見ます。

要求
そもそもの要求と仕様が妥当か
生成されたコード
LLM が書いた実装が正しいか
テスト
テストが自己撞着していないか、通っている理由が正しいか
セキュリティ
権限の設計、秘密情報の扱い、取り消せない操作の承認の境目
LLM の出力
回答の品質、事実性、根拠の妥当性、指示に従っているか
評価基準
その評価基準そのものが適切か
エージェント
自律して動くときの権限の範囲と、止まる条件
運用
監視、元に戻す手順、障害のときの判断の手順

納めるもの

Quick Scan の報告書
A4 で4〜6ページ。危険箇所を優先度順に5〜8件挙げ、各件に何を確かめたかを付けます。出荷の判定は出しません
Assessment の判定レポート
PASS/条件付き PASS/BLOCK/判定不能の判定と根拠、証拠の台帳、検証した範囲と検証していない範囲、段階ごとの是正の計画
LLM の組み込みのアドバイザリー
LLM を安心してサービスに組み込むための助言です。出力の評価基準や確かめる範囲を含め、何を納めるかは案件ごとに設計します

見つかったものの是正や、CI の品質ゲートとしての常設は、別の契約でご相談いただけます。

成果物の見本

七夕研究所が自社で開発し、社外の利用者がいる環境で運用している LLM エージェントに同じ手順を当てた報告書です。判定レポートは所見7件に確認の方法を付けて条件付き PASS とし、自らの所見2件を取り下げた記録も含みます。申し込みなしで PDF が開きます。

次は「進め方」

まず状況をお聞かせください。

「LLM で作ったので見てほしい」だけでも構いません。対象のシステム、期限、気になっている点を、分かる範囲で送ってください。合う商品と進め方をご案内します。初回の整理は無料です。

相談する