RemoveDuplicates.org

removeduplicates.org

行、リスト、貼り付けた表計算データ、CSV ファイル、ローカルの XLSX ブックから重複を削除するための、目的を絞った静的ツールです。Static Assets を使用する Cloudflare Worker としてデプロイされています。

リンク：

• ウェブサイト：RemoveDuplicates.org
• Excel ツール：Excel からオンラインで重複を削除
• ソースコード：suvadadepolo-blip/remove-duplicates

ライセンス：MIT

AI エージェントから使う（MCP）

ホスト型 MCP サーバーを https://removeduplicates.org/mcp（Streamable HTTP）で利用できます。インストールも API キーやアカウントも不要です。Official MCP Registry には org.removeduplicates/remove-duplicates として登録されています。

Claude Code：

claude mcp add --transport http removeduplicates https://removeduplicates.org/mcp

Cline（cline_mcp_settings.json）：

{
  "mcpServers": {
    "removeduplicates": {
      "type": "streamableHttp",
      "url": "https://removeduplicates.org/mcp"
    }
  }
}

Cursor（mcp.json）では、type を除いた同じ mcpServers エントリーを使用します。VS Code（.vscode/mcp.json）：

{
  "servers": {
    "removeduplicates": {
      "type": "http",
      "url": "https://removeduplicates.org/mcp"
    }
  }
}

Gemini CLI では、リポジトリを拡張機能としてインストールできます（gemini extensions install https://github.com/suvadadepolo-blip/remove-duplicates）。gemini-extension.json が同じエンドポイントを指定します。

stdio のみを使用するクライアントは、npx mcp-remote https://removeduplicates.org/mcp でブリッジできます。

サーバーには読み取り専用のツール remove_duplicates が 1 つあります。text（最大 128 KiB）と、任意の format（auto、lines、table）、ignoreCase、trim、removeEmpty、keep（first、last）、order（preserve、sort）、compare（row、列インデックス、またはインデックスのリスト）、header を受け取り、件数とともに重複を削除したテキストを返します。各呼び出しはメモリ内で処理され、データは保存されません。.xlsx ブックには、ブラウザー内のみで動作するExcel ツールを使用してください。

製品の範囲

• 行と表を認識した重複削除はブラウザーのメモリ内で実行されます。大きな入力は、応答性を保てるサイズに分割して、同一オリジンの Web Worker にストリーミングされます。
• Excel と Google Sheets の行は TSV として貼り付けられます。また、引用符付きの CSV/TSV ファイルは、同じ 5 MB のローカル制限内で開けます。
• Excel ツールが受け付けるのはマクロなしの .xlsx ファイルのみです。行全体、または選択した列を安定した組み合わせで比較し、専用の Module Worker で重複を削除したブックを作成します。
• XLSX パッケージの制限は、圧縮後 10 MiB、ZIP エントリー 2,000 件、展開後の宣言済みデータ 100 MiB、ブックのセル 500,000 個、選択したシートのセル 250,000 個です。数式の行移動と交差する結合範囲はブロックされます。
• SheetJS CE 0.20.3 は、公式のソース URL、ライセンス、SHA-256 証明書とともに public/vendor/sheetjs-0.20.3/ に固定されています。有効な XLSX がローカルの ZIP 事前チェックを通過した後にのみ遅延読み込みされ、ホームページからリクエストされることはありません。
• ウェブサイトでは、ユーザーが開いたテキストやブックの内容をアップロードしたり保存したりしません。サーバー側で処理されるのは任意の /mcp エンドポイントのみで、AI エージェントがそのリクエストのために送信したテキストを処理し、何も保存しません。
• アカウント、データベース、分析機能、広告、外部フォント、サードパーティ製のブラウザーランタイムは含まれていません。
• Cloudflare は、サイトの配信と保護に必要な通常の HTTP メタデータを引き続き処理します。この範囲はプライバシーに関する記述で明示されています。
• 利用規約とプライバシーに関するページは、それぞれ独立した実ページです。JavaScript が利用可能な場合は、ページ内ダイアログとして表示されます。

エージェントおよび回答エンジン向けの対応

• robots.txt では主要な AI クローラーを指定し、Content-Signal: search=yes, ai-input=yes, ai-train=yes を宣言しています。
• /llms.txt と /llms-full.txt（/llm.txt からリダイレクトされます）で、言語モデル向けにサイトを説明しています。
• すべてのページには Markdown 版（/index.md、/excel.md、/privacy.md、/terms.md）があり、Accept: text/markdown に対しても配信されます。HTML ルートでは Vary: Accept と、API カタログ、llms.txt、エージェントスキルのインデックス、Markdown 版に対する RFC 8288 の Link ヘッダーを送信します。
• /.well-known/api-catalog（RFC 9727）、/.well-known/mcp/server-card.json、remove-duplicates/SKILL.md を含む /.well-known/agent-skills/index.json、および /.well-known/ai-catalog.json。
• /mcp は、呼び出しごとにテキストが最大 128 KiB に制限される、ステートレスな Streamable HTTP MCP サーバーです。ブラウザーで navigator.modelContext が公開されている場合、ホームページでは WebMCP を介して同じツールを登録します。この経路ではタブ内でローカルに実行されます。どちらも public/js/agent-tool.js とサイトの dedupe.js エンジンを共有します。
• server.json は、公式 MCP Registry のエントリー org.removeduplicates/remove-duplicates です。ネームスペースの所有権は /.well-known/mcp-registry-auth（Ed25519 公開鍵）によって HTTP 経由で証明されます。秘密鍵は Git で無視される local.env.txt のみに保存されています。
• node scripts/build-agent-files.mjs でサーバーカード、スキルダイジェスト、llms-full.txt を再生成します。これらが古い場合、npm run check は失敗します。

コマンド

npm run check
npm test
npm run verify
npm run preview
npm run qa:browser
npm run benchmark:xlsx
npm run check:http
npm run deploy

実行時のプレビュー、XLSX ベンチマーク、ブラウザー QA、ダウンロードしたファイルの読み戻し、Lighthouse は OpenClaw 上で実施します。ポート 3630 は管理対象のプレビュー用に予約されています。デプロイには、1 つ上のディレクトリにあるプロジェクト専用の Cloudflare ラッパーを使用します。認証情報をこのプロジェクト内に保存することはありません。

リポジトリの衛生管理

• 実行時のアーティファクトは Git の対象外です：output/、.codex-results/、.wrangler/、ログ、.DS_Store。
• シークレットを含むファイルは Git の対象外です：.env*、local.env.txt、*.env.txt。.env.example などのプレースホルダーテンプレートのみコミットできます。
• ローカルの計画資料とプロバイダーの証拠資料は Git の対象外です：EXCEL_PLAN.md、IMPROVEMENT_PLAN.md、PROJECT_STATE.md、UTILITY_BASELINE.md、ops/。
• public/vendor/sheetjs-0.20.3/ は、上流のライセンス、ソースの記録、SHA-256 チェックとともに意図的にベンダー管理されています。

Cloudflare の構成

• Worker：removeduplicates-org
• 静的アセット：public/
• Worker エントリーポイント：src/worker.js
• 静的アセットのバインディング：ASSETS、run_worker_first: true を設定
• Workers.dev の稼働中のステージング URL：https://removeduplicates-org.whatmyname.workers.dev/
• 正規の本番ドメイン：https://removeduplicates.org/
• リダイレクトする本番エイリアス：https://www.removeduplicates.org/

Worker は /excel、直接アクセス可能な法律関連ルート、HTTP から HTTPS へのリダイレクトと正規ホストへのリダイレクト、メソッド処理、ブランド表示付き 404、キャッシュポリシー、HSTS、ハッシュ固定 CSP、Workers.dev の noindex 保護を担います。Excel のパスの大文字・小文字や末尾のスラッシュの違いは、スキームやホストの変更と同じ 1 回のリダイレクトで /excel に正規化されます。Worker が受け付けるのは GET と HEAD のみです。

本番リリース

有効な Cloudflare Zone と wrangler.jsonc には、次の 2 つの custom_domain ルートのみが含まれます。

1. removeduplicates.org
2. www.removeduplicates.org

Worker は、パスとクエリを維持したまま www から apex へ 308 を返します。部分的なルート設定は無効であり、Zone Redirect Rule は使用しません。本番 apex、リダイレクトエイリアス、TLS、HTTP マトリックス、5 つのビューポートを使ったブラウザースイート、Lighthouse の合格結果は、プロジェクトの状態と本番デプロイ台帳に記録されています。