smolanalytics: analytics you ask from your editor, answers CI-tested to match the dashboard

npx smolanalytics test --url https://yourapp.com --test "the pricing page shows a monthly price"

テストは Markdown ファイルに記述する1文です。エージェントは実際のブラウザーを開き、アクセシビリティツリーを通じてページを読み取り、その文に書かれた操作方法を判断して、結果を返します。テストコードがないため、ボタンの位置が変わってもセレクターを更新する必要はありません。

合格した実行は記録され、それ以降の実行ではモデルを一切呼び出さず、その記録を再生します。記録がアプリに合わなくなった場合にのみ、エージェントが再び動作します。

判定は5種類で、混同しません： passed、failed、stale、errored、flaky。アプリに問題があるという判断を示すのは failed だけです。記録が合わなくなった場合は stale であり、バグ報告にはなりません。また、ランナーが処理を完了できなかった場合は errored であり、アプリの失敗として数えられることもありません。

すべてのプルリクエストで

test --suite tests/ --url <preview> --comment を実行すると、文をまとめたフォルダーのテストを実行し、プルリクエストにコメントを1つ残します。プッシュのたびに同じコメントが更新され、何が壊れたか、最も原因である可能性が高いファイル、そしてその推測の根拠が記載されます。終了コードは 0（問題なし）、1（アプリがテストに失敗）、2（ランナーが処理を完了できなかった場合）です。ワークフローファイルはドキュメントにあります。

エディター内（MCP）

{ "mcpServers": { "smolanalytics": { "command": "npx", "args": ["-y", "smolanalytics", "mcp"] } } }

ツールは run_tests、can_i_ship、list_tests の3つです。公式 MCP Registry には io.github.Arjun0606/smolanalytics として登録されています。

主張ではなく証拠

smolanalytics.com/proof は、この製品独自のテストスイートを2つの稼働中のサイトに対して毎晩実行し、失敗を含むすべての判定を公開する GitHub Action です。このページに手作業で書かれた内容はありません。

費用

CLI は、お使いのマシンまたは CI ランナー上で、ご自身の ANTHROPIC_API_KEY を使用して実行できます。テストの初回実行にかかる費用は、エージェントとの会話1回分程度です。再生には費用がかかりません。smolanalytics.com のホスト型サービスは月額 $19 で、14日間のカード登録不要のトライアル終了後も、テスト対象のプルリクエストが100件含まれます。これは商用ソフトウェアであり、オープンソースではありません。

CLI の完全なリファレンス：cli/README.md。お問い合わせ： smolanalytics.com/contact。