olostep-mcp について
olostep-mcp は Olostep のウェブスクレイピング、抽出、検索機能を MCP クライアントに提供し、最新のウェブ情報を扱うエージェント向けです。単一ページや一括取得、サイト巡回、構造化検索に対応します。
主な機能
- 01複数形式でのウェブ取得
- 02構造化ウェブ検索
- 03引用付き AI 回答
- 04最大 10k URL の一括取得
- 05サイトの自律巡回
- 06フィルター付き URL マップ
活用シーン
- 01ウェブページを Markdown や JSON で抽出
- 02多数の URL からデータを収集
- 03引用付きのウェブ検索回答を取得
- 04サイト内のページを発見して取得
MCP 対応
MCP サーバーとして、ウェブ取得、検索、AI 回答、一括取得、巡回、URL マッピングのツールを公開します。ホスト型リモートサーバーへの接続またはローカル実行が可能です。
設定
リモートサーバーはインストール不要です。クライアントを選んで設定をコピーするか、ワンクリックで導入できます。
https://mcp.olostep.com/mcpclaude mcp add --transport http olostep https://mcp.olostep.com/mcp{"mcpServers":{"olostep":{"type":"http","url":"https://mcp.olostep.com/mcp"}}}Cursor で開く{"servers":{"olostep":{"type":"http","url":"https://mcp.olostep.com/mcp"}}}VS Code で開く{"mcpServers":{"olostep":{"type":"http","url":"https://mcp.olostep.com/mcp"}}}{"mcpServers":{"olostep":{"serverUrl":"https://mcp.olostep.com/mcp"}}}コマンドはターミナルで実行し、JSON は各クライアントの MCP 設定に貼り付けて再起動します。認可が必要なサーバーは初回接続時にログインを求めます。
https://mcp.olostep.com/mcp認証が必要ツール
10| パラメーター | 型 | 必須 | 説明 |
|---|---|---|---|
| url | string | いいえ | リンクを抽出するウェブサイトの URL。 |
| website_url | string | いいえ | `url` のエイリアス。 |
| search_query | string | いいえ | URL を絞り込むための任意の検索クエリ(例:"blog")。 |
| top_n | integer | いいえ | 返す URL 数の任意の上限。 |
| include_url_patterns | array | いいえ | 含める glob パターン(任意。例:"/blog/**")。 |
| exclude_url_patterns | array | いいえ | 除外する glob パターン(任意。例:"/admin/**")。 |
詳細
Olostep MCP サーバー
Docker Hub npm version License: ISC
Web スクレイピング、コンテンツ抽出、検索機能を提供する Olostep と連携する、Model Context Protocol(MCP)サーバーの実装です。 Olostep MCP サーバーを設定するには、API キーが必要です。Olostep のウェブサイトで登録すると、API キーを取得できます。
機能
- ウェブサイトのコンテンツを HTML、Markdown、JSON、またはプレーンテキストでスクレイピング(オプションのパーサーを利用可能)
- パーサーベースのウェブ検索と構造化された結果
- 引用と、オプションの JSON 形式の出力を備えた AI 回答
- 最大 10k 件の URL の一括スクレイピング
- 開始 URL からの自律的なサイトのクロール
- ウェブサイトの URL の検出とマッピング(包含/除外フィルター付き)
- 地域をターゲットとするコンテンツ向けの国別リクエストルーティング
- JavaScript を多用するウェブサイト向けに待機時間を設定可能
- 包括的なエラー処理とレポート
- 簡単な API キーの設定
インストール
Olostep MCP サーバーに接続する方法はいくつかあります。ワークフローに最適な方法を選択してください。
ワンクリックでインストール
ホストされたサーバーに接続し、Olostep アカウントでサインインします(OAuth)。API キーもローカルでの設定も不要です。
または、ターミナルから実行します。
# Claude Code
claude mcp add --transport http olostep https://mcp.olostep.com/mcp
# Gemini CLI (prompts for your API key)
gemini extensions install https://github.com/olostep/olostep-mcp-server
その他のクライアントについては、クライアントの設定を参照してください。
☁️ リモートエンドポイント(推奨)
最も簡単な方法です。ローカルへのインストールは不要で、ホストされた MCP サーバーに直接接続します。
https://mcp.olostep.com/mcp
認証には、Olostep API キーを使用した Bearer トークンを Authorization ヘッダーに設定します。設定例については、以下のクライアントの設定セクションを参照してください。
🐳 Docker Hub
公式 Docker イメージをプルして実行します。
docker pull olostep/mcp-server
docker run -i --rm \
-e OLOSTEP_API_KEY="your-api-key" \
olostep/mcp-server
🔧 ローカルでの Docker ビルド
ソースから自分でイメージをビルドする場合は、次の手順を実行します。
git clone https://github.com/olostep/olostep-mcp-server.git
cd olostep-mcp-server
npm install
npm run build
docker build -t olostep/mcp-server:local .
docker run -i --rm -e OLOSTEP_API_KEY="your-api-key" olostep/mcp-server:local
📦 npx
npx を使って、インストールせずに実行します。
env OLOSTEP_API_KEY=your-api-key npx -y olostep-mcp
Windows(PowerShell)の場合:
$env:OLOSTEP_API_KEY = "your-api-key"; npx -y olostep-mcp
Windows(CMD)の場合:
set OLOSTEP_API_KEY=your-api-key && npx -y olostep-mcp
または、グローバルにインストールします。
npm install -g olostep-mcp
クライアントの設定
Gemini CLI
Gemini CLI に Olostep 拡張機能をインストールします(Olostep API キーが必要です)。
gemini extensions install https://github.com/olostep/olostep-mcp-server
Gemini CLI の機密性の高い拡張機能設定で API キーを設定します。
gemini extensions config olostep OLOSTEP_API_KEY
Gemini CLI はこの値をシステムのキーチェーンに保存します。Gemini CLI を再起動し、拡張機能と MCP サーバーを確認します。
gemini extensions list
gemini mcp list
認証エラーが発生した場合は、キーを再設定してください。接続エラーが発生した場合は、Gemini CLI を再起動して gemini mcp list を実行してください。詳細については、公式の Gemini CLI 拡張機能のドキュメントを参照してください。
Cursor
最も簡単なのは、リモートエンドポイントを使用する方法です。プロジェクトのルートにある .cursor/mcp.json を作成または編集します。
{
"mcpServers": {
"olostep": {
"url": "https://mcp.olostep.com/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}
別の方法(ローカル): Cursor の Settings > Features > MCP Servers に移動し、「+ Add New MCP Server」をクリックします。
- 名前:
olostep - タイプ:
command - コマンド:
env OLOSTEP_API_KEY=your-api-key npx -y olostep-mcp
Claude Desktop
claude_desktop_config.json に以下を追加します。
{
"mcpServers": {
"mcp-server-olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}
別の方法(Docker):
{
"mcpServers": {
"olostep": {
"command": "docker",
"args": [
"run", "-i", "--rm",
"-e", "OLOSTEP_API_KEY=YOUR_API_KEY_HERE",
"olostep/mcp-server"
]
}
}
}
または、デバイスのターミナルで Smithery CLI を使ってインストールします。
npx -y @smithery/cli install @olostep/olostep-mcp-server --client claude
Claude Code
Claude Code の MCP 設定にリモートエンドポイントを追加します。
{
"mcpServers": {
"olostep": {
"url": "https://mcp.olostep.com/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}
別の方法(ローカル):
{
"mcpServers": {
"olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}
Windsurf
./codeium/windsurf/model_config.json に以下を追加します。
{
"mcpServers": {
"olostep": {
"serverUrl": "https://mcp.olostep.com/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}
別の方法(ローカル):
{
"mcpServers": {
"mcp-server-olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}
Cline
cline_mcp_settings.json に以下を追加します(Cline → MCP Servers → Configure)。
{
"mcpServers": {
"olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
},
"disabled": false,
"autoApprove": []
}
}
}
Cline に設定を任せることもできます。このリポジトリから MCP サーバーをインストールするよう依頼すると、llms-install.md に従って設定します。
VS Code
.vscode/mcp.json に以下を追加します。
{
"servers": {
"olostep": {
"type": "http",
"url": "https://mcp.olostep.com/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}
別の方法(ローカル):
{
"servers": {
"olostep": {
"type": "stdio",
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}
GitHub Copilot CLI
Copilot CLI で /mcp add を実行し、次の情報を入力します。
- 名前:
olostep - タイプ: HTTP
- URL:
https://mcp.olostep.com/mcp - ヘッダー: 空欄のままにします
Ctrl+S で保存し、プロンプトが表示されたら Olostep アカウントでサインインします(OAuth)。/mcp show olostep で接続を確認します。
次の内容が ~/.copilot/mcp-config.json に書き込まれます。
{
"mcpServers": {
"olostep": {
"type": "http",
"url": "https://mcp.olostep.com/mcp",
"tools": ["*"]
}
}
}
Zed
Zed の settings.json に以下を追加します。
{
"context_servers": {
"olostep": {
"url": "https://mcp.olostep.com/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}
別の方法(拡張機能): Olostep Zed extension はローカルサーバーを実行し、Zed のセットアップ画面で API キーの入力を求めます。
Metorial
オプション 1:ワンクリックインストール(推奨)
- Metorial のダッシュボードを開きます
- MCP サーバーのディレクトリに移動します
- 「Olostep」を検索します
- 「Install」をクリックし、API キーを入力します
オプション 2:手動設定
Metorial の MCP サーバー設定に以下を追加します。
{
"olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
これで、Metorial の AI チャットで Olostep のツールを利用できるようになります。
設定
環境変数
OLOSTEP_API_KEY:Olostep API キー(必須)ORBIT_KEY:Orbit を使ってリクエストをルーティングするための任意のキー
利用可能なツール
1. ウェブサイトをスクレイピング(scrape_website)
単一の URL からコンテンツを抽出します。複数の形式と JavaScript のレンダリングに対応しています。
{
"name": "scrape_website",
"arguments": {
"url_to_scrape": "https://example.com",
"output_format": "markdown",
"country": "US",
"wait_before_scraping": 1000,
"parser": "@olostep/amazon-it-product"
}
}
パラメーター:
url_to_scrape:スクレイピングするウェブサイトの URL(必須)output_format:形式を選択します(html、markdown、json、またはtext)。デフォルト:markdowncountry:地域に応じたスクレイピングに使用する国コード(例:US、GB、CA、省略可)wait_before_scraping:スクレイピング開始までの待機時間(ミリ秒、0~10000)parser:抽出に特化した任意のパーサー ID
レスポンス(例):
{
"content": [
{
"type": "text",
"text": "{\n \"id\": \"scrp_...\",\n \"url\": \"https://example.com\",\n \"markdown_content\": \"# ...\",\n \"html_content\": null,\n \"json_content\": null,\n \"text_content\": null,\n \"status\": \"succeeded\",\n \"timestamp\": \"2025-11-14T12:34:56Z\",\n \"screenshot_hosted_url\": null,\n \"page_metadata\": { }\n}"
}
]
}
2. ウェブを検索(search_web)
指定したクエリでウェブを検索し、構造化された結果を取得します(AI 不使用、パーサーベース)。
{
"name": "search_web",
"arguments": {
"query": "your search query",
"country": "US"
}
}
パラメーター:
query:検索クエリ(必須)country:ローカライズされた結果を取得するための任意の国コード(デフォルト:US)
レスポンス:
- パーサーベースの結果を表す構造化 JSON(テキスト形式)
3. 回答(AI)(answers)
ウェブを検索し、ソースと引用を含む、希望する JSON 構造の AI による回答を返します。
{
"name": "answers",
"arguments": {
"task": "Who are the top 5 competitors to Acme Inc. in the EU?",
"json": "Return a list of the top 5 competitors with name and homepage URL"
}
}
パラメーター:
task:ウェブデータを使って回答する質問またはタスク(必須)json:任意の JSON スキーマ/オブジェクト、または希望する出力形式の簡単な説明
レスポンスに含まれる項目:
answer_id、object、task、result(指定した場合は JSON)、sources、created
4. URL を一括スクレイピング(batch_scrape_urls)
最大 10k 件の URL を同時にスクレイピングします。大規模なデータ抽出に最適です。
{
"name": "batch_scrape_urls",
"arguments": {
"urls_to_scrape": [
{"url": "https://example.com/a", "custom_id": "a"},
{"url": "https://example.com/b", "custom_id": "b"}
],
"output_format": "markdown",
"country": "US",
"wait_before_scraping": 500,
"parser": "@olostep/amazon-it-product"
}
}
レスポンスに含まれる項目:
batch_id、status、total_urls、created_at、formats、country、parser、urls
5. クロールの作成(create_crawl)
リンクをたどってウェブサイト全体を自動的に検出・スクレイピングする非同期クロールを開始します。crawl_idを返します。クロールはバックグラウンドで実行され、このレスポンスにはコンテンツが含まれません。その後、crawl_idを指定してget_crawl_resultsを呼び出し、ステータスを確認してスクレイピングしたページを取得する必要があります(batch_scrape_urlsとget_batch_resultsと同じ2段階のパターンです)。
{
"name": "create_crawl",
"arguments": {
"start_url": "https://example.com/docs",
"max_pages": 25,
"output_format": "markdown",
"country": "US",
"parser": "@olostep/doc-parser"
}
}
レスポンスに含まれるもの:
crawl_id、object、status、start_url、max_pages、created、formats、country、parser
この呼び出しには
get_crawl_resultsを組み合わせてください。get_batch_resultsにcrawl_idを渡さないでください(クロールとバッチは別々のリソースです)。
6. マップの作成(create_map)
ウェブサイト上のすべてのURLを取得します。検出と分析のためにすべてのURLを抽出します。
{
"name": "create_map",
"arguments": {
"website_url": "https://example.com",
"search_query": "blog",
"top_n": 200,
"include_url_patterns": ["/blog/**"],
"exclude_url_patterns": ["/admin/**"]
}
}
レスポンスに含まれるもの:
map_id、object、url、total_urls、urls、search_query、top_n
7. ウェブページのコンテンツを取得(get_webpage_content)
JavaScript のレンダリングに対応し、ウェブページのコンテンツを整形されたMarkdown形式で取得します。
{
"name": "get_webpage_content",
"arguments": {
"url_to_scrape": "https://example.com",
"wait_before_scraping": 1000,
"country": "US"
}
}
パラメーター:
url_to_scrape:スクレイピングするウェブページのURL(必須)wait_before_scraping:スクレイピング開始前に待機する時間(ミリ秒)(デフォルト:0)country:リクエストの送信元として使用する居住国(例:US、CA、GB)(任意)
レスポンス:
{
"content": [
{
"type": "text",
"text": "# Example Website\n\nThis is the markdown content of the webpage..."
}
]
}
8. ウェブサイトのURLを取得(get_website_urls)
ウェブサイトから関連するURLを検索して取得し、クエリとの関連性が高い順に並べます。
{
"name": "get_website_urls",
"arguments": {
"url": "https://example.com",
"search_query": "your search term"
}
}
パラメーター:
url:マップを作成するウェブサイトのURL(必須)search_query:URLを並べ替えるための検索クエリ(必須)
レスポンス:
{
"content": [
{
"type": "text",
"text": "Found 42 URLs matching your query:\n\nhttps://example.com/page1\nhttps://example.com/page2\n..."
}
]
}
9. バッチ結果を取得(get_batch_results)
batch_idを使用して、以前に送信したバッチスクレイピングジョブの結果を取得します。
{
"name": "get_batch_results",
"arguments": {
"batch_id": "batch_abc123"
}
}
パラメーター:
batch_id:batch_scrape_urlsから返されたバッチID(必須)
レスポンスに含まれるもの:
batch_id、status(processingまたはcompleted)、total_urls、completed_urls、items(URLごとのスクレイピング結果の配列。各結果にはurl、custom_id、markdown_content、html_content、json_content、text_content、status、page_metadataが含まれます)
10. クロール結果を取得(get_crawl_results)
create_crawlで開始した非同期クロールのステータスとスクレイピング済みのページを取得します。これはcreate_crawlと組み合わせて使用する必要があります。create_crawlはジョブを開始してcrawl_idを返すだけです。検出したページとそのコンテンツを実際に取得するには、このツールを使用します。
{
"name": "get_crawl_results",
"arguments": {
"crawl_id": "crawl_abc123",
"formats": ["markdown"],
"items_limit": 20,
"cursor": 0
}
}
パラメーター:
crawl_id:create_crawlから返されたクロールID(必須)formats:ページごとに取得する形式の配列 —markdown、html、json、text(デフォルト:["markdown"])items_limit:コンテンツを取得する最大ページ数(1~100)(デフォルト:20)cursor:検出したページ一覧のページネーションカーソル(デフォルト:0)search_query:クエリとの関連性に応じてページの順位付けや選択を行う任意のフィルター
レスポンスに含まれるもの:
- 実行中:
crawl_id、status(in_progress)、pages_completed、pages_total、および約10秒後に再度呼び出すよう促すmessage。 - 完了時:
crawl_id、status(completed)、pages_returned、next_cursor、has_more、および各エントリーにurl、custom_id、要求したコンテンツフィールド(markdown_content、html_content、json_content、text_content)が含まれるpages配列。
エラー処理
サーバーは堅牢なエラー処理を提供します。
- APIの問題に関する詳細なエラーメッセージ
- ネットワークエラーの報告
- 認証失敗への対応
- レート制限に関する情報
エラーレスポンスの例:
{
"isError": true,
"content": [
{
"type": "text",
"text": "Olostep API Error: 401 Unauthorized. Details: {\"error\":\"Invalid API key\"}"
}
]
}
配布
Docker イメージ
MCP サーバーはDockerイメージとして利用できます。
- Docker Hub:
[olostep/mcp-server](https://hub.docker.com/r/olostep/mcp-server) - 公式 Docker MCP Registry:
mcp/olostep(近日公開 — 署名とSBOMによるセキュリティ強化) - GitHub Container Registry:
ghcr.io/olostep/olostep-mcp-server
Docker Desktop MCP Toolkit
Olostep MCP サーバーは Docker Desktop の公式 MCP Toolkit に追加される予定です。これにより、ユーザーは次のことが可能になります。
- Docker Desktop の MCP Toolkit UI で見つける
- ワンクリックでインストールする
- 視覚的に設定する
- MCP 対応の任意のクライアント(Claude Desktop、Cursor など)で使用する
ステータス:Docker MCP Registry への申請手続き中です
対応プラットフォーム
linux/amd64linux/arm64
ローカルでのビルド
# Clone the repository
git clone https://github.com/olostep/olostep-mcp-server.git
cd olostep-mcp-server
# Build the image
npm install
npm run build
docker build -t olostep/mcp-server .
# Run locally
docker run -i --rm -e OLOSTEP_API_KEY="your-key" olostep/mcp-server
ライセンス
ISC ライセンス
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。