codearia-sieve

codearia-sieve

Webページを、意思決定モデルに必要な正確な形式に解析します。
日付は日付として。数値には単位を付けます。テキストはモデルのコンテキストウィンドウに収まるチャンクに分け、それぞれに出典を示します。
1回の呼び出しで、前後のトークン料金もわかります。

npx codearia-sieve          # MCP server for Claude Code, Cursor and any agent
npm i codearia-sieve        # or the library

_{約束ではなく、実測値です。 同じ日に選んだランダムなページを実際に処理しました。複数言語のRSSフィードからの最新ニュース、ランダムなWikipedia記事、ドキュメント、ブログ、政府サイト、レシピ、ショップが対象です。すべての結果はbench/analytics/にあり、npm run analyticsで全体を再実行できます。出力を意思決定モデルに評価させた結果については、評価者による検証をご覧ください。}

機能

Webページを必要とするエージェントは、ナビゲーション、Cookieバナー、フッター、広告枠、そしてメガバイト単位のフレームワークのマークアップまで、ページ全体を取得します。次に、トークンごとに課金されるモデルが、その山の中から必要な段落を探します。

codearia-sieveは、モデルが何かを見る前にその作業を行います — ページを文章ではなく、状態として返します。

それ以外のメニュー、フッター、バナー、タグの行、「続きを読む」などはすべて削除されます。trace: trueを指定すると、削除したものとその理由の一覧も取得できます。

エージェントを構築していて、請求額を見たことがある方。 ページを取得するたびに、エージェントが一言も読む前に数万トークンが消費されます。サンプルのページの中央値は、入力が53 718トークン、出力が1 106トークンです。

低コストの判断モデルを運用する方。 分類器やランキングモデル、文章を書くのではなく判断するJeVのようなSystem Oneモデルです。ほぼ無料で非常に高速ですが、苦手なこともあります。数を数えられず、日付をテキストとして読み、無関係な情報がコンテキストに増えるほど精度が低下します。「ページをMarkdownに変換する」ツールはどれも、読み手に渡す入力を準備します。このツールが準備するのは、判断するモデルへの入力です。

確認できる回答が必要な方。 スクレイピングしたテキストから得た判定は、各要素が出典を示していなければ検証できません。ここでは、すべての事実がブロックを示し、すべてのチャンクがアンカーを持ちます。

仕組み

通常のコードによる8つのステップです。モデルを組み込まない限り、モデルは実行されません。同じHTMLからは、バイト単位で同じJSONが生成されます。

1. 取得 — 最初にrobots.txtを確認します。拒否された場合は報告し、回避しません。通常のHTTPを使い、ユーザーエージェントを偽りません。
2. 解析 — linkedomでHTMLをDOMに変換します。ブラウザーは使いません。
3. 未加工のツリーからの日付とIDの抽出 — クリーニングで<head>、署名欄、属性が取り除かれるため、実行前に両方を読み取ります。
4. クリーニング — Defuddleで不要な要素を取り除き、結果が空の場合はReadabilityに切り替えます。インライン要素の前にはスペースを挿入するため、<span>20 Sept</span><span>10 min</span>が202610 minになることはありません。
5. ブロック — 見出し、段落、リスト、表、コード、引用を順序どおりに、位置を示すID付きで処理します。<br><br>で構成された古いページも段落として扱い、表の行には列見出しを保持します。
6. 事実とアンカー — IDを復元し、単位を伴う数値のみを事実に変換します。範囲は両端を保持します。
7. チャンク化 — 順序を保ったまま、デフォルトでは20 000トークンと50 000文字という2つの上限を同時に超えないよう、貪欲法で分割します。
8. 組み立て — state、markdown、usage、warningsをまとめ、要求があればトレースも付けます。

const r = await sieve({ kind: 'url', url: 'https://docs.typesafe.ai/models' });

r.state.title         // "Models"
r.state.facts[0]      // { value: 42, unit: "USD_per_billion", label: "price_btok_mtok",
                      //   context: "Price (per Btok / per Mtok) | jev-1.13.0: $42 / $0.042", from: "b3" }
r.state.facts[1]      // { value: 0.042, unit: "USD_per_million", … }   — paired by position
r.state.chunks[0]     // { id: "c1", tokens: 1210, chars: 5357, anchor: "Current models",
                      //   headings: ["Current models", "Pricing", …], blocks: ["b1", …, "b36"], text: "…" }
r.usage               // { rawTokens: 127413, stateTokens: 1211,
                      //   visibleChars: 4939, stateChars: 5357, chunks: 1, ms: 1503 }
r.warnings            // []
r.markdown            // the same article, for a human or a generative model

欲しいものを普通の言葉で伝えます。エージェントはページを見つけ、それぞれに対して sieve_page を呼び出し、状態を型付きの質問とともに判定モデルに渡して、結果をまとめます。Sieve が準備し、判定モデルが判定し、エージェントが書きます。

{ "mcpServers": { "sieve": { "command": "npx", "args": ["-y", "codearia-sieve"] } } }

公式 MCP Registry に io.github.AntonG87/codearia-sieve として登録されています。レジストリを読み取るクライアントは、名前を指定してインストールできます。

jev-mcp と組み合わせて使えます。チャンクはそのフィールドに収まるようにサイズが調整されているため、状態をそのまま型付きの質問に渡せます。

判定モデルによる検証

主張は、判定モデルに生のテキストよりも 優れた 入力を Sieve が提供する、というものです。そこで、出力を判定モデルに渡しました。examples/jev.ts は公式クライアントを使って両方の MCP サーバーを実行します。codearia-sieve が6ページ（API ドキュメント、リリースノート、2言語の Wikipedia 記事2件、料金ページ2件）を準備し、Jev が jev-mcp を通じて判定します。同じ実行での結果です。2026年9月21日：

このテストの最初の実行では、逆のことが起きました。Jev は3件の事実を要確認として返し、そのうち1件に異議を唱えました。4件とも原因は Sieve にありました。表の行見出しではなく列見出しを付けた行、ひとつの見出しに含まれたまま対応付けられていない2つの料金、そしてロシア語の書誌表記「256 с.」を秒数と読み取ったことです。修正し、テストし、再実行した結果は11件中11件です。パーサーの誤りを指摘できる判定モデルこそ、この連携の狙いです。

TYPESAFE_API_KEY=… node --experimental-strip-types examples/jev.ts

ライブラリとして使う

import { sieve } from 'codearia-sieve';

await sieve({ kind: 'url', url });                    // fetch it
await sieve({ kind: 'html', html, url });             // already have it; url only for anchors

await sieve(input, {
  budget:    { maxTokens: 8000, maxChars: 30000 },    // chunk limits
  trace:     true,                                    // everything discarded, and why
  tokenizer: myTokenizer,                             // o200k by default; swap for your model's
  fetcher:   myFetcher,                               // your transport, or a file reader in tests
  now:       () => fixedDate,                         // injected clock: identical output on identical input
  selector:  mySelector, task: 'is this about pricing?', // relevance judge; nothing runs without one
});

parseDate、findDates、ベンダーの上限値（JEV、JEV_MCP、DEFAULT_BUDGET）もエクスポートされています。

対応できないこと

• トップページ、一覧ページ、製品ページには、抽出対象となる記事がありません。見出しと thin-content 警告が返され、見せかけの成功にはなりません。
• JavaScript で描画される記事は、コンテナーが空の場合、empty-without-js として返されます。ティーザーを配信して残りをストリーミングするサイトは、ブラウザーなしでは区別できません。その場合はティーザーが返されます。
• テキストの多いページでは、削減効果が小さくなります。 小説全体では22％、RFCでは84％の削減です。除去できるラッパーがなく、テキストが全文保持されるためです。これはツールが正常に動作している結果です。
• 料金表のグリッドはテーブルではありません。 事実から分かるのは、それが含まれていたブロックであり、どのプラン列に属するかではありません。Sieve は対応関係を推測しません。チャンクを渡してください。料金ページはクリーニング後で約1000トークンです。判定モデルに読み取らせましょう。examples/pricing-watch.ts。
• トークン数は近似値として o200k で計算されます。 1メガバイトを超えるページはサンプリングして数え、usage.rawTokensEstimated: true が設定されます。

Develop

npm install
npm test                    # 71 tests, offline, a few seconds
npm run demo -- <url>       # the token bill for one page
npm run bench               # the 20-page benchmark set
npm run analytics           # the 56-page random sample: rows, CSV, summary

Design notes — vision and architecture — are in docs/.

_{MIT © 2026 Anton Evelson · Codearia Academy}