redline

redline

プロンプトのリグレッションをリリース前に検出します。

すでにあるプロンプトログから評価スイートを自動生成します。

redline は、実際のプロンプトと応答のログをローカルのリグレッションテストに変換します。代表的なケースを選び、変更したプロンプトを再実行して、問題のあるプロンプトがユーザーに届く前に動作の差分を表示します。

ウェブサイト · ドキュメント · MCP · MCP レジストリ · セキュリティ · ライセンス

まずはこちら

PyPI からインストールします：

python -m pip install redline-ai

公開デモを読み込んで、ガイド付きのローカルアプリを起動します：

redline app --demo

このコマンドは公開デモレポートを生成し、ローカルのプロダクトアプリを開いて、インポート -> スイート -> 評価 -> レビューという一連のワークフローを表示します。このデモでは、API キー、非公開ログ、クラウドアカウント、LLM 評価者なしで、合成されたリグレッションを 10 件検出します。

まずはターミナル出力を使う場合：

redline demo --public --compact

デモは .redline/demo の下に JSON、Markdown、自己完結型の HTML レポートを書き出します。

次に何をすればよいか redline に尋ねます：

redline status --reports-dir .redline/demo/reports

status はローカルの設定、スイート、レポート、履歴、監査証跡を読み込み、ワークフローを自分で推測しなくても済むよう、次に実行するコマンドを表示します。

既存のレポートを使って、ガイド付きのローカルプロダクトアプリを開きます：

redline app --reports-dir .redline/demo/reports

このアプリは、コマンドをコピーして実行するローカルワークフローです。ログのインポート、スイートの生成、評価の実行、リグレッションのレビュー、履歴の記録、CI/MCP の設定のエクスポートを行えます。ブラウザーがシェルコマンドを実行することはありません。

ヘッドレス CI またはリモートシェルでは、ブラウザーを開かず、表示された HTML パスを使用します：

redline app --reports-dir .redline/demo/reports --no-open --out .redline/app.html

初回実行時のトラブルシューティング

• redline: command not found：python -m pip install redline-ai を実行し、続けて python -m pip show redline-ai で確認してください。
• アプリが開かない場合：--no-open --out .redline/app.html を使用し、そのファイルを開くか、環境からアップロードしてください。
• スイートが見つからない場合：redline suite logs/baseline.jsonl --out redline-suite.json を実行してください。
• 検証に失敗した場合：redline validate redline-suite.json --strict を実行し、最初に報告されたエラーを修正してください。
• GitHub Action がスイートを見つけられない場合：redline-suite.json をコミットするか、Action の suite 入力にプロンプトマニフェストを指定してください。

詳しいガイド：docs/troubleshooting.md。

プロダクトの実証

redline には、初回実行向けの手軽なデモと、より大規模な公開データを使った実運用テストの2つの実証方法があります。

実証	コマンドまたはデータ	結果
初回実行デモ	redline demo --public --compact	API キーなしで、合成された回帰を10件ローカルで検出します。
インターネット実運用テスト	Databricks Dolly 15k からサンプリングした100件のプロンプトと応答の行	回帰51件、変更されたケース27件、中立的な対照ケース22件、ダッシュボードの警告0件。
リリースゲート	テスト、lint、型チェック、アクションのスモークテスト、リリースビルド	公開前に、パッケージ、CI、レポート、ダッシュボード、MCP の各経路を検証します。

以下のスクリーンショットは、100件のインターネット実運用テストで生成されたローカル成果物です。

ダッシュボード	HTML レポート

redline とは？

redline は、AI チーム向けのオープンソースでローカルファーストの評価ツールです。プロンプト、出力、サポートチケット、トレース、モデルの応答、本番環境の JSONL エクスポートなど、すでにお持ちのログを活用します。

最初に評価を手作業で書くのではなく、実際の挙動から最初のテストスイートを生成します。その後は、プロンプト、モデル、またはランナーが変更されるたびに、そのテストスイートを実行できます。

クラウドアカウントは不要です。テストを手作業で書く必要もありません。コアとなる回帰シグナルに LLM ジャッジは不要です。このパッケージにはランタイム依存関係がないため、インストールが速く、デフォルトでのサプライチェーンの対象範囲も小さく保たれます。

仕組み

redline は、プロンプト回帰のサイクルをカバーする3つの基本機能を提供します。

2つのローカルログをまず確認するには、次のコマンドを1つ実行します。

redline quick-check logs/baseline.jsonl logs/candidate.jsonl --open

一時的なテストスイートを生成し、JSON、Markdown、HTML の各レポートと、.redline/quick-check 配下に操作ガイド付きのローカルアプリを作成して、対象を絞った HTML レポートを開き、具体的な挙動の差分を表示します。対象を絞ったレポートだけでなく、ガイド付きのレビュー用ワークフローを開く場合は、--open-app を使用してください。

1. ログ

すでにお持ちのプロンプトと応答のデータから始めましょう。JSONL をインポートしたり、Langfuse や Helicone などのツールからエクスポートしたデータを変換したり、OpenAI/Anthropic SDK の呼び出しを記録したり、範囲を限定した FastAPI/ASGI ミドルウェアを追加したりできます。

redline import downloaded.jsonl --detect
redline import downloaded.jsonl --auto-map --preview 3
redline import downloaded.jsonl --auto-map --out logs/baseline.jsonl
redline import downloaded.jsonl --input-field instruction --output-field response --preview 3
redline import downloaded.jsonl --input-field instruction --output-field response --out logs/baseline.jsonl
redline import langfuse-export.jsonl --preset langfuse --out logs/baseline.jsonl
redline suite logs/baseline.jsonl --out redline-suite.json
redline cases redline-suite.json

フィールド名がわからない場合は、--detect を使用してください。エクスポートデータを初めて扱う場合は、--preview を使用してください。ベースラインファイルに書き込まずに、マッピングと秘匿化を適用したサンプル行を確認できます。

テストスイートの生成時には、準備状況スコアと改善案が表示されます。このスコアはテストスイートの健全性を測るものであり、モデルの品質や候補の安全性を測るものではありません。

2. テストスイート

redline は挙動を決定論的なシグネチャにまとめ、まず代表的なケースを選択します。見落としを絶対に避けるべきシナリオには、固定のエッジケースや明示的な要件を追加できます。

redline cases redline-suite.json
redline suite add redline-suite.json --prompt "..." --response "..."

3. 評価

変更されたプロンプトをリプレイするか、候補の出力を比較します。redline は、JSON キー、URL、数値、テーブル、コードブロック、拒否、空の回答、要件違反など、どの挙動が損なわれたかを示します。

redline eval --prompt prompts/v2.txt
redline diff redline-suite.json logs/candidate.jsonl

プロダクトの約束

実際のプロンプトログを使って、5分以内に、リリースしたくなかった回帰を1件検出すること。それが redline の目標です。

この約束の範囲は意図的に絞られています。redline は、ホスト型の評価プラットフォームでも、汎用スコアでも、人間の判断に取って代わるものでもありません。「プロンプトを変更した」から「マージしても十分安全だ」までをつなぐ、ローカルの安全確認サイクルです。

実際のワークフロー

ベースラインログからテストスイートを構築します。

redline suite logs/baseline.jsonl --out redline-suite.json

設定済みのランナーを通じて、変更したプロンプトファイルを評価します。

redline eval --prompt prompts/v2.txt

または、すでに生成した候補の出力を比較します。

redline diff redline-suite.json logs/candidate.jsonl

redline がブロック対象の変更を検出すると、CI 用にゼロ以外の終了コードを返し、その理由を表示します。

REGRESSION case_004
- candidate missing JSON keys: owner, required_action
- candidate missing URL: https://example.com/policies/refunds

Confidence: HIGH | fix blocking cases before shipping

redline が検出するもの

シグナル	回帰の例
JSON の妥当性とキー	候補が有効な JSON を返さなくなったり、owner が欠落したりします。
表、リスト、コードブロック	Markdown の表が文章になったり、コードフェンスが消えたりします。
数値、URL、エンティティ	返金期間、チケット ID、ポリシー URL、担当者が欠落します。
空の出力と拒否	候補が安全なタスクを新たに拒否したり、何も返さなかったりします。
内容の変化	同じ形式の応答が大幅に変化します。
明示的な要件	固定されたテストケースで、特定の文字列の使用が必須または禁止されています。

redline はデフォルトで決定論的に動作し、ローカルファーストです。曖昧な changed ケースには、オプションのジャッジコマンドを利用できます。ただし、 そのコマンドを明示的に設定しない限り、redline がクラウドモデルを呼び出すことは ありません。

これが redline の目的です。redline は、本番システムを壊す回帰、すなわち無効な JSON、必須フィールドの欠落、表の消失、空の回答、URL の欠落、拒否動作の変化、 明示的な要件の不達を検出する、高速なマージブロック用ゲートとして設計されています。 LLM ジャッジは意味的なレビューに役立ちますが、処理が遅く、費用がかかり、CI で 不安定になることもあります。redline はデフォルトのゲートを決定論的で再現可能、 かつ低コストに保ちながら、構造的なシグナルだけでは不十分な場合に限ってジャッジを 追加できるようにします。

手法の詳細は docs/methodology.md をご覧ください。

スイートの生成では、デフォルトで統計的なクラスタリングや埋め込みによるクラスタリングは 実行されません。プロンプトの意図、応答の形式、長さの区分、JSON スキーマなど、 決定論的な動作シグネチャに基づいてログをグループ化します。まず各グループから代表例を 1 つ選び、ケース数の上限に余裕があれば、分散の大きい端のケースと、大規模なグループから 均等に抽出したプロンプトの多様なサンプルを追加します。

信頼境界

redline の実行結果がグリーンであることは、設定された高シグナルの構造的な阻害要因が 見つからなかったことを意味します。事実の正確性、トーン、ハルシネーションへの安全性、 ポリシーへの準拠、または微妙な推論の質を証明するものではありません。

評価ツールを過信すると危険なため、この境界は CLI の出力とレポートに明示されます。 報告される各ケースには、信頼度とシグナル（structural、shallow_semantic、 requirement、judge、human_judgment）が含まれ、レビュー担当者は redline が その判定を下した理由を確認できます。構造的なチェックでは証明できない意味的なリスクには、 要件またはオプションのジャッジを使用してください。

製品の機能

redline は、プロンプト回帰テストの一連の流れを包括的にサポートします。

• redline watch：ログ、Python 関数、OpenAI／Anthropic 互換 SDK の呼び出し、または ASGI アプリからプロンプトと応答の記録を収集します。デフォルトでは、一般的なシークレットと個人情報を可能な範囲で書き込み前にマスキングします。
• redline import：エクスポートしたチームのログを redline JSONL に正規化します。デフォルトで同じマスキングが有効です。--no-redact は、レビュー済みのローカル専用ログに限って使用してください。
• RedlineMiddleware：FastAPI または ASGI の JSON リクエスト／レスポンスのペアを、サイズを制限してローカルに記録します。任意でスキップ診断も有効にできます。
• redline redact --check：ログをスキャンして一般的なシークレットと個人情報を検出し、必要に応じてサニタイズしたコピーを書き込みます。 マスキングはパターンマッチングによるベストエフォートであり、プライバシーを保証するものではありません。共有する前に、機密ログを確認してください。
• redline cluster：決定論的な動作シグネチャのグループを確認してから、スイートを生成します。
• redline suite：ベースラインログから代表的な評価スイートを生成します。
• redline prompts：複数のプロンプトファイルをスキャンし、バージョン管理可能なプロンプトとスイートのマニフェストを書き込むか、検証します。 すべてのプロンプトに構築済みで有効なスイートが必要な場合は、CI で --check-suites を追加してください。
• redline suite add：アルゴリズムが決して見逃してはならない、手動で選んだエッジケースを固定します。
• redline budget／redline benchmark：リプレイコマンドを実行せずに、スイートまたはプロンプトマニフェストの実行時間を見積もり、予算アーティファクトを書き込み、必要に応じて CI の時間予算超過時に失敗させます。モデルを呼び出さずにスイートのベースラインに対する redline の決定論的なローカル差分処理の時間を計測するには、--measure-local を追加してください。
• redline eval：各スイートケースをローカルアプリまたはモデルランナーでリプレイします。
• redline diff：候補となる JSONL 出力をスイートのベースラインと比較します。
• redline mark と redline accept：意図した変更をレビューし、新しいベースラインに反映します。
• redline require：必ず含める、または含めないための決定論的なルールを追加します。
• redline audit --verify：ローカルの監査証跡を確認し、ハッシュチェーンを検証します。CI またはリリースの証跡にあるチェックポイントと、ローカルログの末尾がまだ一致していることを証明するには、--expect-last-hash または --expect-entries を追加してください。証跡を保存するには --out-checkpoint .redline/audit-checkpoint.json を追加し、後で照合するには --checkpoint .redline/audit-checkpoint.json を指定してください。
• redline sbom：セキュリティレビュー用の CycloneDX SBOM リリース証跡を書き込みます。
• redline app：ログのインポート、スイートの生成、回帰のレビュー、履歴の記録、CI／MCP の接続を行うための、ガイド付きローカル製品機能を開きます。
• redline status：ガイド付きアプリのコマンド、最初にレビューするケース、その理由、重要である理由など、ローカルの証跡に基づいてプロジェクトの準備状況と次のコマンドを表示します。
• redline history、redline compare、redline dashboard：品質の経時的な推移を追跡し、レポートアーティファクトをローカルで確認します。ダッシュボードには、機能レベルの集計、プロンプトレベルの評価行、ベンチマークの証跡、プロンプトマニフェストからレポートが生成された場合の最新レポートのレビューキューが表示されます。また、同じプロジェクトのベンチマーク証跡がないレポートが存在する場合は警告します。
• redline summary：スイートの準備状況を確認します。または redline-prompts.json を渡すと、複数プロンプトにわたるスイートの網羅状況、担当者、要件、欠落しているスイートを集計します。
• redline-mcp：AI コーディングアシスタントが Claude、Codex、Cursor、Kiro、または任意の MCP クライアント内でチェックを実行できるようにします。

プロンプトファイルが多数あるリポジトリでは、マニフェストが評価計画になります。

redline prompts prompts/ --suite-dir suites --out redline-prompts.json
redline prompts prompts/ --suite-dir suites --out redline-prompts.json --check --check-suites
redline summary redline-prompts.json
redline validate redline-prompts.json --strict
redline budget redline-prompts.json
redline eval redline-prompts.json

マニフェストの概要には、マッピングされたすべてのスイートの準備状況が表示されます。マニフェストの検証ではマッピングされたすべてのスイートがチェックされ、マニフェストのベンチマークでは実行時間の予算が集計されます。また、マニフェストの評価ではケースの詳細より先に、プロンプトレベルの集計が出力されます。大規模なリポジトリでは、最初に対応が必要なプロンプトファイルや機能フォルダーを確認できます。

マッピングされたスイートが有効な場合、チェックによって次のような準備完了コマンドが表示されます。

redline eval suites/support/triage.redline-suite.json --prompt prompts/support/triage.txt

アプリを接続する

標準入力からプロンプトを読み取り、標準出力に応答を出力するコマンドであれば、redline のランナーとして使用できます。

redline init --runner stdio --copy-runner --github-action

組み込みアダプターは、プロバイダーに依存しない stdio、OpenAI、Anthropic、LiteLLM、HTTP API、Python チェーン、JSONL ログのインポート、OpenAI／Anthropic SDK のキャプチャに対応しています。

redline runners
redline runners --copy all

ランナーの詳細はdocs/runners.mdを参照してください。ログインポートおよび SDK キャプチャのアダプターは、実際の観測結果からスイートを作成するためのものであり、redline eval のリプレイには使用しません。JSONL ログアダプターには、エクスポートされた可観測性ログ用の Langfuse、Helicone、LangSmith、Braintrust のプリセットが含まれています。

AI アシスタントネイティブ対応

redline にはローカルの Model Context Protocol サーバーが付属しています。

redline-mcp

docs/mcp.mdを参照して、redline を MCP クライアントに接続してください。MCP のインターフェースでは、安全なキャプチャ準備状況、プライバシー、監査、スケール、読み取り、クイックチェック、ケースの検査、評価、レポートの各ツールに加え、setup_redline_project、check_prompt_change、build_suite_from_logs、review_candidate_outputs などのワークフロープロンプトを利用できます。 セットアップ時に、ランナーアダプターやオプションの評価者テンプレートを一覧表示したり、コピーしたりすることもできます。 変更を伴う MCP ツールは、保護された redline_mark だけです。意図的なケース判定を記録するには、allow_write: true とメモが必要です。ベースラインへの昇格は引き続き CLI からのみ行えます。

CI と GitHub

設定と GitHub Actions ワークフローを作成します。

redline init --runner stdio --copy-runner --github-action

別のリポジトリから redline をコンポジット GitHub Action として使用します。

- uses: gowtham0992/[email protected]
  with:
    prompt-path: prompts/v2.txt
    benchmark-max-seconds: "300"

複数のプロンプトを含むリポジトリでは、suite に redline-prompts.json を指定します。このアクションは、redline prompts --check --check-suites ですべてのマッピング済みスイートを確認し、マニフェスト全体のベンチマークを実行してから、マニフェストの評価を実行します。

このアクションは、JSON、完全版 Markdown、簡潔な PR コメント用 Markdown、HTML、JUnit、Slack 用 JSON、履歴、ダッシュボード、監査チェックポイントの各アーティファクトを .redline/ に書き込みます。また、ベンチマーク、簡潔な評価、トレンドの概要を GitHub のステップサマリーに追加し、評価ゲートのステータスで終了します。スイートの最悪実行時間の予算が大きくなりすぎた場合に CI を失敗させるには、benchmark-max-seconds を設定してください。

レポート

diff と eval の実行では、次のレポートを出力できます。

• マシンやダッシュボード用の JSON
• プロンプトマニフェストの集計を含む、詳細な概要を記載した完全版 Markdown
• マージレビュー用の画面に適した、簡潔な PR コメント用 Markdown
• 機能およびプロンプト評価の表を含む、左右比較での確認に適した自己完結型 HTML
• CI のテストレポート用 JUnit XML
• 管理している CI ボットや Webhook 連携用の Slack Block Kit JSON
• 変更されたケースやブロック対象のケースに関する GitHub アノテーション

例：

redline diff redline-suite.json logs/candidate.jsonl \
  --out-json .redline/reports/diff.json \
  --out-md .redline/reports/diff.md \
  --out-comment .redline/reports/diff-comment.md \
  --out-html .redline/reports/diff.html \
  --out-junit .redline/reports/diff.xml \
  --out-slack .redline/reports/diff.slack.json

オプションの評価者

構造チェックだけでは不十分な場合に限り、評価者を使用してください。redline は、曖昧な changed ケースのみを JSON として標準入力経由で設定済みのコマンドに送信します。

redline judges
redline judges --copy openai
redline judges --copy support-rubric
redline diff logs/candidate.jsonl --judge "python examples/judge_changed.py"

リポジトリ内の例とインストール可能なテンプレート：

• examples/judge_changed.py
• examples/openai_judge.sh
• examples/anthropic_judge.sh
• examples/litellm_judge.sh
• examples/judges/support_rubric.md
• examples/judges/extraction_rubric.md
• examples/judges/safety_rubric.md

評価者のキャリブレーションについては、docs/judges.mdを参照してください。

設定

redline init は、エディターの自動補完用に $schema 参照を含む redline.json を書き込みます。重要なキーは次のとおりです。

キー	用途
suite	スイートのベースラインパス。デフォルトは redline-suite.json です。
input_field、output_field	プロンプトとレスポンスの JSONL フィールドパスです。
max_cases	スイートに選択する代表ケースの最大数です。
replay	eval が使用するコマンドです。デフォルトではプロンプトは stdin に渡されます。{prompt} は小規模なレガシー argv ランナー用です。{prompt_file} はレンダリング済みプロンプトの一時ファイルパスを渡します。
workers	同時に実行するリプレイケースの数です。
owners	リグレッションの担当チームを表示するための、任意のパターンと担当者のルールです。
approval	任意のローカルガードレールです。require_approver を設定すると、accept で承認者が記録されます。
fail_on	diff または eval を失敗させるステータスです。レポートのみを行う設定には "none" を使用します。
reports	JSON、Markdown、PR コメント用 Markdown、HTML、JUnit、Slack 対応 JSON の出力パスです。
logs	観測されたプロンプトとレスポンスのログパス、および任意のミドルウェアスキップ診断パスです。
audit	eval、判定、要件、承認済みベースラインの追記専用 JSONL 監査ログパスです。新しいエントリには、オペレーター／承認者のコンテキストと、redline audit --verify で検証できるローカルハッシュチェーンが含まれます。末尾の切り詰めを検出するには、期待されるハッシュ／件数のチェックポイント、または --out-checkpoint の証跡ファイルを使用します。
judge	判定が曖昧な changed ケースに使用する任意のコマンドです。

スイートを使用する前に、設定を確認してください。

redline doctor --strict
redline validate redline-suite.json --strict
redline summary redline-suite.json

doctor は、CI で構造チェックを使用する前に、スイートに明示的な要件または記録済みの判定があるかどうかを表示します。 summary は、スイートの準備状況スコア、動作グループ／ケースのカバレッジ、担当者のカバレッジ、承認済みベースラインの履歴、承認者のカバレッジ、および要件または記録済みの判定があるケースに対する明示的なガードのカバレッジを報告し、CI の前にチームがスイートの準備状況を確認できるようにします。 .redline/audit-checkpoint.json がある場合、dashboard には監査チェックポイントの証跡も表示されます。

Dogfood 用アセット

公開フィクスチャは、公開されている指示／チャットデータセットのパターンを参考にした合成データで、examples/public_dogfood_sources.md に説明があります。

python -m redline suite examples/public_dogfood_baseline.jsonl --out /tmp/redline-public-suite.json --all-cases
python -m redline diff /tmp/redline-public-suite.json examples/public_dogfood_candidate.jsonl --compact --fail-on none

AI アシスタントのセッションでの Dogfood には、docs/ai-session-dogfood-prompts.jsonl を使用し、scripts/normalize_ai_session_logs.py で生のエクスポートデータを正規化してください。 再現可能な Dogfood のケーススタディは docs/case-studies.md にあります。 インターネット上の Dogfood に使用する公開データセットの候補は、docs/internet-dogfood-sources.md にランキング形式で掲載されています。

リポジトリをチェックアウトした状態から、公開デモを記録します。

bash scripts/demo_terminal.sh
bash scripts/demo_gif.sh .redline/launch .redline/launch/redline-demo.gif

開発

python -m pip install -e ".[dev]"
python -m pytest -q
python -m ruff check .
python -m mypy redline tests scripts examples

リリースを作成する前、または他の人にブランチを試してもらう前に、次を実行してください。

bash scripts/release_check.sh

プロジェクトドキュメント

• docs/release.md：パッケージ、タグ、PyPI、MCP Registry のリリースフロー
• docs/launch.md：公開アルファ版のローンチ計画
• docs/troubleshooting.md：初回実行時および CI の失敗からの復旧
• docs/import-guides.md：Langfuse、Helicone、OpenAI chat、Datadog、カスタムログのインポート手順
• docs/methodology.md：動作のグループ化、ケースの選定、スコアリング、信頼境界
• docs/calibration.md：リグレッション、変更されたケース、中立的なケースを示す小規模なフィクスチャ
• docs/commands.md：簡潔な CLI コマンドリファレンス
• docs/real-log-dogfood.md：秘匿化を最優先する実ログのテストプロトコル
• docs/dogfood.md：最初のユーザーによるドッグフーディングのプロトコル
• docs/case-studies.md：再現可能なドッグフーディングのケーススタディ
• docs/internet-dogfood-sources.md：ドッグフーディングのデータ収集に使える公開プロンプト・応答データセット
• docs/runners.md：ランナーとログアダプターのセットアップ
• docs/mcp.md：MCP サーバーのセットアップ
• docs/benchmarks.md：パフォーマンス要件と CI ベンチマーク成果物
• docs/repository.md：GitHub リポジトリの管理設定
• scripts/README.md：メンテナー向けスクリプト一覧
• CONTRIBUTING.md：コントリビューターによる検証
• SECURITY.md：プライバシーと脆弱性の報告
• LICENSE：MIT オープンソースライセンス

GitHub Pages のウェブサイトのソースは site/ にあり、 main にコミットされた静的アセットからデプロイされます。