mcpField
D
Dataset Filter & Transform

Dataset Filter & Transform

远程服务
github.com数据与分析07 周前更新

关于 Dataset Filter & Transform

Dataset Filter & Transform 是面向 AI Agent 的远程 MCP 服务,用于清理和重塑 JSON 行数据。它将转换、筛选、排序与去重整合到单条流水线,并报告排除项和转换问题。

主要功能

  1. 0126 种行转换操作
  2. 0225 种筛选运算符
  3. 03排序与行去重
  4. 04偏移与结果数量限制
  5. 05报告排除行及错误

适用场景

  1. 01清理并规范抓取记录
  2. 02按计算字段筛选 API 结果
  3. 03分析前删除重复行

MCP 相关

通过远程 HTTP 端点向 MCP 客户端提供 `list_capabilities` 和 `process_rows`。客户端提交 JSON 行及流水线选项,获取保留行和处理摘要。

配置

远程服务无需本地安装。选择你使用的客户端,复制配置或使用一键安装。

服务地址https://dataset-filter-transform.nerolabs.workers.dev/mcp
一键复制安装命令
Claude CodeTerminal
Cursor.cursor/mcp.json
VS Code.vscode/mcp.json
Claude Desktopclaude_desktop_config.json
Windsurf~/.codeium/windsurf/mcp_config.json

命令在终端中运行;JSON 粘贴到对应客户端的 MCP 配置后重启。需要授权的服务会在首次连接时提示登录。

工具

2

此工具无需参数。

详细介绍

Dataset Filter & Transform(远程 MCP 服务)

通过一次工具调用清理、筛选并重塑杂乱的 JSON 行。 将爬虫、API 或电子表格中的行列表交给它,告诉它如何重塑数据以及保留哪些行,它就会返回清理后的行,并准确说明删除了哪些内容及原因。

专为 AI Agent 打造。无需安装、无需 API 密钥、无需注册。通过 URL 连接并调用即可。

https://dataset-filter-transform.nerolabs.workers.dev/mcp

早期访问期间可免费使用。

功能

一次调用即可按以下顺序运行完整的数据处理流程:

  1. 转换每一行:重命名、删除或保留字段、去除空格、更改大小写、将字符串转换为数字、通过算术计算新字段、使用正则表达式提取内容、拆分、替换、格式化日期、计算日期间隔、提取电子邮件或 URL 中的域名、哈希、映射值、解析 JSON 等(共 26 种操作)。
  2. 筛选出不需要的行:等于、包含、以……开头、大于、介于……之间、为空、匹配正则表达式、在列表中、数组包含、日期早于或晚于、在最近 N 天内等(共 25 种运算符),可组合使用 AND 或 OR。
  3. 排序、按任意字段去重,以及设置偏移量 / 限制条数。

转换会在筛选之前运行,因此你可以在同一次调用中创建字段并根据该字段进行筛选。

对于无法完成的操作,它会如实报告。如果 "not a price" 这样的价格无法转换为数字,系统不会擅自猜测:摘要会报告 cast:price: 1。

工具

工具功能
list_capabilities列出所有转换操作和筛选运算符、处理流程顺序以及行数限制。不处理任何数据。
process_rows对你传入的行运行处理流程,并返回保留的行和摘要。

连接

Claude Code

claude mcp add --transport http dataset-filter-transform https://dataset-filter-transform.nerolabs.workers.dev/mcp

Claude Desktop / claude.ai: 打开 Settings、Connectors、Add custom connector,然后粘贴上面的 URL。

Cursor、Windsurf、VS Code 和其他 MCP 客户端

{
  "mcpServers": {
    "dataset-filter-transform": {
      "url": "https://dataset-filter-transform.nerolabs.workers.dev/mcp"
    }
  }
}

示例

输入 5 行杂乱的潜在客户数据:

{
  "rows": [
    {"company": "  Acme Ltd  ", "e_mail": "[email protected]", "price": "$1,234.50", "qty": "3", "country": "uk"},
    {"company": "Beta Systems", "e_mail": "[email protected]", "price": "49 USD", "qty": "1", "country": "UK"},
    {"company": "Gamma GmbH", "e_mail": "[email protected]", "price": "€900", "qty": "2", "country": "DE"},
    {"company": "Acme Ltd", "e_mail": "[email protected]", "price": "$1,234.50", "qty": "3", "country": "UK"},
    {"company": "Delta Co", "e_mail": "", "price": "not a price", "qty": "5", "country": "UK"}
  ],
  "transforms": [
    {"op": "trim", "field": "company"},
    {"op": "rename", "from": "e_mail", "to": "email"},
    {"op": "lowercase", "field": "email"},
    {"op": "cast", "field": "price", "to": "number"},
    {"op": "cast", "field": "qty", "to": "number"},
    {"op": "compute", "field": "orderValue", "expression": "price * qty", "round": 2},
    {"op": "extractDomain", "field": "email", "into": "domain"}
  ],
  "filters": [
    {"field": "country", "operator": "equals", "value": "UK"},
    {"field": "orderValue", "operator": "greaterThan", "value": 100}
  ],
  "sortBy": [{"field": "orderValue", "direction": "desc"}],
  "distinctBy": ["domain"]
}

输出 1 行清理后的数据,并附上摘要,准确说明其他 4 行为何被删除:

{
  "rows": [
    {"company": "Acme Ltd", "price": 1234.5, "qty": 3, "country": "uk", "email": "[email protected]", "orderValue": 3703.5, "domain": "acme.co.uk"}
  ],
  "summary": {
    "inputRowCount": 5,
    "keptRowCount": 1,
    "excludedByFilter": 3,
    "duplicatesRemoved": 1,
    "transformIssues": {"cast:price": 1, "compute:orderValue": 1, "extractDomain:email": 1}
  }
}

默认情况下,文本匹配不区分大小写;"$1,234.50"、"49 USD" 和 "12%" 这样的值会被识别为数字,除非你关闭此功能。

限制

每次调用最多处理 500 行。对于更大的列表,请拆分为多次调用。超过限制时会返回清晰的提示,而不会静默失败。

隐私

你的行数据会在内存中处理,绝不会存储。为了记录使用了哪些工具,每次调用都会记录工具名称、行数、是否成功、应用报告的客户端名称、国家/地区以及经过单向哈希处理的调用方 ID。日志绝不会保存你的数据、参数或 IP 地址。

另有提供

同一引擎也在 Apify Store 上以 Dataset Filter & Transform 的形式提供,还支持读取 Apify 数据集、CSV 和 Excel 文件以及 Google Sheets,并导出为 CSV 或 Excel。

由 Nero Labs 构建。

评论

支持 Markdown

第一次接触 MCP?

从协议是什么,到在客户端里装上第一个服务,这几条回答覆盖了大多数入门问题。

一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。