WebSearch - Advanced Web Search and Content Extraction Tool

WebSearch - 高级网页搜索和内容提取工具

这是一款功能强大的网页搜索和内容提取工具，使用 Python 构建，并借助 Firecrawl API 实现高级网页抓取、搜索和内容分析功能。

🚀 功能

• 高级网页搜索：使用可自定义参数执行智能网页搜索
• 内容提取：使用自然语言提示词从网页中提取特定信息
• 网页爬取：按照可配置的深度和限制爬取网站
• 网页抓取：抓取网页，并支持多种输出格式
• MCP 集成：构建为模型上下文协议（MCP）服务，可无缝集成

📋 前提条件

• Python 3.8 或更高版本
• uv 包管理器
• Firecrawl API 密钥
• OpenAI API 密钥（可选，用于增强功能）
• Tavily API 密钥（可选，用于扩展搜索功能）

🛠️ 安装

1. 安装 uv：

# On Windows (using pip)
pip install uv

# On Unix/MacOS
curl -LsSf https://astral.sh/uv/install.sh | sh

# Add uv to PATH (Unix/MacOS)
export PATH="$HOME/.local/bin:$PATH"

# Add uv to PATH (Windows - add to Environment Variables)
# Add: %USERPROFILE%\.local\bin

2. 克隆仓库：

git clone https://github.com/yourusername/websearch.git
cd websearch

3. 使用 uv 创建并激活虚拟环境：

# Create virtual environment
uv venv

# Activate on Windows
.\.venv\Scripts\activate.ps1

# Activate on Unix/MacOS
source .venv/bin/activate

4. 使用 uv 安装依赖：

# Install from requirements.txt
uv sync

5. 设置环境变量：

# Create .env file
touch .env

# Add your API keys
FIRECRAWL_API_KEY=your_firecrawl_api_key
OPENAI_API_KEY=your_openai_api_key

🎯 使用方法

在 Claude for Desktop 中设置

无需直接运行服务，你可以配置 Claude for Desktop 来访问 WebSearch 工具：

1. 找到或创建 Claude for Desktop 配置文件：

   • Windows：%env:AppData%\Claude\claude_desktop_config.json
   • macOS：~/Library/Application Support/Claude/claude_desktop_config.json

2. 在 mcpServers 部分添加 WebSearch 服务配置：

{
  "mcpServers": {
    "websearch": {
      "command": "uv",
      "args": [
        "--directory",
        "D:\\ABSOLUTE\\PATH\\TO\\WebSearch",
        "run",
        "main.py"
      ]
    }
  }
}

3. 请务必将目录路径替换为 WebSearch 项目文件夹的绝对路径。

4. 保存配置文件并重启 Claude for Desktop。

5. 配置完成后，WebSearch 工具将显示在 Claude for Desktop 的工具菜单（锤子图标）中。

可用工具

1. 搜索

2. 提取信息

3. 爬取网站

4. 抓取内容

📚 API 参考

搜索

• query（str）：搜索查询
• 返回：JSON 格式的搜索结果

提取

• urls（List[str]）：要从中提取信息的 URL 列表
• prompt（str）：提取说明
• enableWebSearch（bool）：启用辅助网页搜索
• showSources（bool）：包含来源引用
• 返回：以指定格式提取的信息

爬取

• url（str）：起始 URL
• maxDepth（int）：最大爬取深度
• limit（int）：最大爬取页面数
• 返回：Markdown/HTML 格式的爬取内容

抓取

• url（str）：目标 URL
• 返回：抓取的内容，可选择包含截图

🔧 配置

环境变量

此工具需要配置特定 API 密钥才能正常运行。我们提供了 .env.example 文件，可用作模板：

1. 复制示例文件：

# On Unix/MacOS
cp .env.example .env

# On Windows
copy .env.example .env

2. 编辑 .env 文件并填入 API 密钥：

# OpenAI API key - Required for AI-powered features
OPENAI_API_KEY=your_openai_api_key_here

# Firecrawl API key - Required for web scraping and searching
FIRECRAWL_API_KEY=your_firecrawl_api_key_here

获取 API 密钥

1. OpenAI API 密钥：

   • 访问 OpenAI 平台
   • 注册或登录
   • 前往 API 密钥页面
   • 创建新的密钥

2. Firecrawl API 密钥：

   • 访问 Firecrawl 网站
   • 创建账户
   • 前往控制面板
   • 生成新的 API 密钥

如果配置正确，你应该会收到包含搜索结果的 JSON 响应。

故障排除

如果遇到错误：

1. 确保已在 .env 文件中设置所有必需的 API 密钥
2. 确认 API 密钥有效且未过期
3. 检查 .env 文件是否位于项目根目录
4. 确保环境变量已正确加载

🤝 贡献

1. Fork 此仓库
2. 创建功能分支（git checkout -b feature/AmazingFeature）
3. 提交更改（git commit -m 'Add some AmazingFeature'）
4. 推送到分支（git push origin feature/AmazingFeature）
5. 创建 Pull Request

📝 许可证

本项目采用 MIT 许可证授权，详情请参阅 LICENSE 文件。

🙏 致谢

• 感谢 Firecrawl 提供强大的网页抓取 API
• 感谢 OpenAI 提供 AI 能力
• MCPMCP 社区提供协议规范

📬 联系方式

José Martín Rodriguez Mortaloni - @m4s1t425 - [email protected]

---

使用 Python 和 Firecrawl 倾心打造 ❤️