SEO MCP Tools

SEO MCP 工具

一个用于分析 robots.txt 文件的模型上下文协议（MCP）服务。该服务实现了一组专用工具，可帮助从 Web 上的 robots.txt 文件中提取和分析站点地图信息。

功能

SEO MCP 工具服务提供两种主要工具：

1. 获取第一个站点地图 URL：从 robots.txt 文件中提取第一个站点地图 URL。
2. 获取所有站点地图 URL：从 robots.txt 文件中提取所有站点地图 URL。

要求

• Python 3.8+
• FastMCP
• advertools
• requests
• pandas

安装

1. 克隆此代码仓库：

   git clone https://github.com/yourusername/seo-mcp-tools.git
   cd seo-mcp-tools
   

2. 安装所需依赖：

   pip install fastmcp advertools requests pandas
   

用法

运行服务

使用以下命令启动 MCP 服务：

python mcp_server.py

或者，使用 FastMCP 开发工具进行交互式测试：

fastmcp dev mcp_server.py

MCP 工具调用

获取第一个站点地图 URL

from mcp_client import MCP_Client  # Assuming you're using an MCP client

client = MCP_Client("http://localhost:8000")

# Extract the first sitemap URL from a robots.txt file
first_sitemap = client.call("get_sitemap_url_from_robots_txt", {
    "robots_txt_url": "https://example.com/robots.txt"
})
print(f"First sitemap URL: {first_sitemap}")

获取所有站点地图 URL

# Extract all sitemap URLs from a robots.txt file
all_sitemaps = client.call("get_all_sitemap_urls_from_robots_txt", {
    "robots_txt_url": "https://example.com/robots.txt"
})
print(f"All sitemap URLs: {all_sitemaps}")

Claude Desktop 集成

1. 创建一个最简 MCP 配置文件：

   {
     "version": "v1",
     "endpoints": [{
       "name": "SEO Tools",
       "transport": {
         "type": "stdio",
         "command": {
           "path": "/path/to/python",
           "args": ["/path/to/mcp_server.py"]
         }
       },
       "input_format": "json",
       "output_format": "json"
     }]
   }
   

2. 在 Claude Desktop 中安装：

   fastmcp install mcp_server.py
   

在开发/测试模式下，请使用：fastmcp dev mcp_server.py

测试

运行测试以验证服务功能：

pytests

测试套件包含针对真实网站 robots.txt 文件的验证，以确保这些工具能够正确处理各种 robots.txt 结构。

工作原理

该服务使用直接 HTTP 请求从 URL 获取 robots.txt 文件，然后应用正则表达式模式提取相关指令。无论格式差异如何，这种方法都能确保可靠地解析各种网站的 robots.txt 文件。

许可证

MIT