llms.txt for agents について
llms.txt for agentsは、サイトのllms.txtを探し、リンク先のドキュメントをMarkdownで取得・検索するリモートMCPサーバーです。一般的なクローリングではなく、インデックスと個別ページの範囲を限定して取得します。
主な機能
- 01llms.txtインデックスの検出と解析
- 02ドキュメントページのMarkdown取得
- 03セクション・タイトル・注記で検索
- 04ページ内容のページ分割取得
活用シーン
- 01製品やライブラリの公式ドキュメントを探す
- 02既知のドキュメントURLをMarkdownで取得
- 03サイトのドキュメント索引から関連ページを特定
MCP 対応
Streamable HTTP経由でリモートMCPサーバーを提供し、MCPクライアント向けにllms_index、llms_page、llms_searchツールを公開します。
設定
リモートサーバーはインストール不要です。クライアントを選んで設定をコピーするか、ワンクリックで導入できます。
https://llmstxtmcp.dev/mcpclaude mcp add --transport http ux-xd-llms-txt https://llmstxtmcp.dev/mcp{"mcpServers":{"ux-xd-llms-txt":{"type":"http","url":"https://llmstxtmcp.dev/mcp"}}}Cursor で開く{"servers":{"ux-xd-llms-txt":{"type":"http","url":"https://llmstxtmcp.dev/mcp"}}}VS Code で開く{"mcpServers":{"ux-xd-llms-txt":{"type":"http","url":"https://llmstxtmcp.dev/mcp"}}}{"mcpServers":{"ux-xd-llms-txt":{"serverUrl":"https://llmstxtmcp.dev/mcp"}}}コマンドはターミナルで実行し、JSON は各クライアントの MCP 設定に貼り付けて再起動します。認可が必要なサーバーは初回接続時にログインを求めます。
ツール
詳細
エージェント向け llms.txt
あらゆるサイトの llms.txt に対応します。該当するインデックスを見つけ、リンク先のドキュメントを Markdown として読み、セクションを検索できます。Streamable HTTP を使用するリモート MCP サーバーは
https://llmstxtmcp.dev/mcpです。無料で、API キーは不要です。ツール:llms_index、llms_page、llms_search。ツール一覧はバージョンごとに固定されています。
任意のサイトまたはページの URL を指定すると、llms_index はその URL をカバーする llms.txt(ルート、リダイレクト、Link: rel="describedby" による通知、サブパスのファイル。最も具体的なものが優先)を見つけ、それを v2 の構造(タイトル、概要、タイトル 形式のリンクと注記を含む H2 セクション、Optional セクション)に解析します。また、試したすべての段階を報告するため、見つからなかった場合も見つかった場合と同様に有益な結果が得られます。llms_page は、コンテンツネゴシエーション(Accept: text/markdown)、rel="alternate" による Markdown ミラー、.md / .html.md / index.md の規則、または制限付きの HTML から Markdown への変換により、リンク先のページを Markdown として返します。文字オフセットによるページ分割にも対応しています。llms_search は、このサーバーがこれまでに解析したすべてのインデックスを、セクション見出し、リンクタイトル、注記から検索します。無料で、キーもアカウントも不要です。サーバーが保持するのは、実際に参照した解析済みインデックスのみです。
使用する場面:ユーザーが製品またはライブラリ独自のドキュメントを必要としており、そのサイトが llms.txt を公開している可能性がある場合は、まずサイトを指定して llms_index を呼び出し、次に返されたリンクに対して llms_page を呼び出します。すでにドキュメントの URL があり、HTML ではなく Markdown として取得したい場合は、llms_page を直接使用します。
対象外:一般的なウェブスクレイピングやクロール(各段階につき取得は 1 回で、リンクをたどることはありません)、ログインが必要なページ、サイト独自の llms.txt の生成や監査、ウェブ全体からのドキュメント検索。
クイックインストール(Claude Code):claude mcp add --transport http llms-txt https://llmstxtmcp.dev/mcp -s user
稼働中のサーバー:https://llmstxtmcp.dev
ドキュメント
- 完全なリファレンス:すべてのツールと、その JSON 入力スキーマおよび使用例
- あらゆるクライアント向けのインストール方法:Claude Code、Cursor、VS Code、Claude Desktop、ChatGPT、Codex、Gemini CLI、Windsurf、Cline、Continue、Zed
- OpenAPI の対応版:同じツールをプレーンな HTTP POST エンドポイントとして提供
- レジストリ server.json:機械可読なサーバーレコード
- サーバーカード:トランスポートとツールのカード(https://llmstxtmcp.dev/.well-known/mcp.json でも提供、SEP-1960)
- ARD マニフェスト:Agentic Resource Discovery エントリー(https://llmstxtmcp.dev/.well-known/ai-catalog.json でも提供)
上流プロジェクト
任意
ツール
| ツール | 目的 | 影響 |
|---|---|---|
llms_index | サイトまたはページの URL を対象とする llms.txt を見つけて解析します。タイトル、概要、メモ付きの タイトル リンクを含む H2 セクション、Optional セクション、および(HEAD プローブのみで確認する)llms-full.txt の有無を返します。ユーザーが製品やライブラリ独自のドキュメントを必要とする場合は、必ず最初に使用し、llms_page より先に呼び出してください。見つからなかった理由を診断できるよう、試したすべての候補が返されます。 | 読み取り専用、オープンワールド、冪等 |
llms_page | ドキュメントの 1 ページをページ分割して Markdown で返します。Accept: text/markdown によるネゴシエーション、ページの rel="alternate" Markdown ミラー、.md / .html.md / index.md の規則を順に試し、その後、範囲を限定して HTML から Markdown への変換を行います。llms_index が返した URL、またはすでに把握している任意のドキュメント URL で使用してください。 | 読み取り専用、オープンワールド、冪等 |
llms_search | このサーバーが解析した llms.txt のインデックスを検索し(セクション見出し ×3、リンクタイトル ×2、メモ ×1)、一致するドキュメントリンクと、それらを含むインデックスを取得します。特定のサイトを検索するには site を指定します(オンデマンドでインデックス化されます)。ドキュメント一式全体を読む代わりに、必要なページへ直接移動するために使用してください。 | 読み取り専用、オープンワールド、冪等 |
すべてのツールで task_context が必要です。ユーザーが何をしようとしているかを一文で記述してください。
llms_index
サイトまたはページの URL を対象とする llms.txt を見つけて解析します。タイトル、概要、メモ付きの タイトル リンクを含む H2 セクション、Optional セクション、および(HEAD プローブのみで確認する)llms-full.txt の有無を返します。ユーザーが製品やライブラリ独自のドキュメントを必要とする場合は、必ず最初に使用し、llms_page より先に呼び出してください。見つからなかった理由を診断できるよう、試したすべての候補が返されます。
入力スキーマ:
{
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"site": {
"type": "string",
"minLength": 3,
"maxLength": 2000,
"description": "Site or page URL, e.g. \"docs.stripe.com\" or \"https://hono.dev/docs/\". The most specific covering llms.txt wins."
},
"refresh": {
"default": false,
"description": "Bypass the 24 h cache and fetch again.",
"type": "boolean"
},
"task_context": {
"type": "string",
"minLength": 1,
"maxLength": 500,
"description": "One sentence on what the user is ultimately trying to do (the task this call serves). Required; it tunes the result and is how this free service learns what agents need."
}
},
"required": [
"site",
"refresh",
"task_context"
],
"additionalProperties": false
}
引数の例:
{
"site": "hono.dev",
"task_context": "example: Find and parse the llms.txt that covers a site or page URL: "
}
llms_page
ドキュメントの 1 ページをページ分割して Markdown で返します。Accept: text/markdown によるネゴシエーション、ページの rel="alternate" Markdown ミラー、.md / .html.md / index.md の規則を順に試し、その後、範囲を限定して HTML から Markdown への変換を行います。llms_index が返した URL、またはすでに把握している任意のドキュメント URL で使用してください。
入力スキーマ:
{
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"url": {
"type": "string",
"maxLength": 2000,
"format": "uri",
"description": "Page URL (http/https)."
},
"max_chars": {
"default": 60000,
"description": "Characters of markdown to return in this call.",
"type": "integer",
"minimum": 1000,
"maximum": 200000
},
"offset": {
"default": 0,
"description": "Character offset to continue from (use next_offset from a truncated result).",
"type": "integer",
"minimum": 0,
"maximum": 9007199254740991
},
"task_context": {
"type": "string",
"minLength": 1,
"maxLength": 500,
"description": "One sentence on what the user is ultimately trying to do (the task this call serves). Required; it tunes the result and is how this free service learns what agents need."
}
},
"required": [
"url",
"max_chars",
"offset",
"task_context"
],
"additionalProperties": false
}
引数の例:
{
"url": "https://hono.dev/docs/",
"task_context": "example: Return one docs page as markdown, paginated: tries Accept: t"
}
llms_search
このサーバーが解析した llms.txt のインデックスを検索し(セクション見出し ×3、リンクタイトル ×2、メモ ×1)、一致するドキュメントリンクと、それらを含むインデックスを取得します。特定のサイトを検索するには site を指定します(オンデマンドでインデックス化されます)。ドキュメント一式全体を読む代わりに、必要なページへ直接移動するために使用してください。
入力スキーマ:
{
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"query": {
"type": "string",
"minLength": 1,
"maxLength": 200,
"description": "Words to match against section headings, link titles and notes."
},
"site": {
"description": "Restrict to one site (indexed via llms_index if not yet cached).",
"type": "string",
"maxLength": 2000
},
"limit": {
"default": 10,
"type": "integer",
"minimum": 1,
"maximum": 50
},
"max_bytes": {
"default": 200000,
"description": "Byte cap on the results array.",
"type": "integer",
"minimum": 10000,
"maximum": 500000
},
"task_context": {
"type": "string",
"minLength": 1,
"maxLength": 500,
"description": "One sentence on what the user is ultimately trying to do (the task this call serves). Required; it tunes the result and is how this free service learns what agents need."
}
},
"required": [
"query",
"limit",
"max_bytes",
"task_context"
],
"additionalProperties": false
}
引数の例:
{
"query": "middleware",
"site": "hono.dev",
"task_context": "example: Search the llms.txt indexes this server has parsed (section "
}
インストール
エンドポイント:https://llmstxtmcp.dev/mcp(Streamable HTTP、MCP 2026-07-28、2025 年代のフォールバックあり)。認証:なし。
Claude Code
claude mcp add --transport http llms-txt https://llmstxtmcp.dev/mcp -s user
Cursor (~/.cursor/mcp.json)
{
"mcpServers": {
"llms-txt": {
"url": "https://llmstxtmcp.dev/mcp"
}
}
}
VS Code / Copilot(ユーザーの mcp.json)
{
"servers": {
"llms-txt": {
"type": "http",
"url": "https://llmstxtmcp.dev/mcp"
}
}
}
または code --add-mcp '{"name":"llms-txt","type":"http","url":"https://llmstxtmcp.dev/mcp"}'
Claude Desktop / claude.ai
設定 → コネクター → カスタムコネクターを追加 → URL https://llmstxtmcp.dev/mcp、認証:なし。
ChatGPT
設定 → コネクター → カスタムコネクターを追加 → https://llmstxtmcp.dev/mcp。デスクトップアプリ / Codex は ~/.codex/config.toml を共有します:
[mcp_servers.llms-txt]
url = "https://llmstxtmcp.dev/mcp"
Codex CLI (~/.codex/config.toml)
[mcp_servers.llms-txt]
url = "https://llmstxtmcp.dev/mcp"
Gemini CLI
gemini mcp add --transport http llms-txt https://llmstxtmcp.dev/mcp -s user
(settings.json では url ではなく httpUrl を使用します。)
Windsurf (~/.codeium/windsurf/mcp_config.json)
{
"mcpServers": {
"llms-txt": {
"serverUrl": "https://llmstxtmcp.dev/mcp"
}
}
}
Cline
{
"mcpServers": {
"llms-txt": {
"type": "streamableHttp",
"url": "https://llmstxtmcp.dev/mcp"
}
}
}
Continue (.continue/mcpServers/llms-txt.yaml)
name: llms-txt
mcpServers:
- name: llms-txt
type: streamable-http
url: https://llmstxtmcp.dev/mcp
Zed (settings.json)
{
"context_servers": {
"llms-txt": {
"source": "custom",
"command": "npx",
"args": [
"-y",
"mcp-remote",
"https://llmstxtmcp.dev/mcp"
]
}
}
}
任意の MCP クライアント
Streamable HTTP エンドポイント:https://llmstxtmcp.dev/mcp
{
"mcpServers": {
"llms-txt": {
"url": "https://llmstxtmcp.dev/mcp"
}
}
}
このページではサーバーについて説明しています。読者にルールファイル、メモリファイル、またはホスト設定の変更を求めるものではありません。
自分で実行する
npm install && npm start # http://127.0.0.1:8080/mcp
docker compose up -d --build # same, in a container
node scripts/smoke.mjs http://127.0.0.1:8080 llms_index '{}'
MCP server kit(kit/)で構築されています。Streamable HTTP MCP と、エージェントが読み取り可能なドキュメント(llms.txt、server.json、インストールページ、REST ツイン)を、単一のマニフェスト(servers/llms-txt/mcp.factory.json)から提供します。このリポジトリにはサーバーのロジックのみが含まれます。このコードによるテレメトリーの収集や送信はありません。MIT。
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。