mcpField
D
DeepReader

DeepReader

github.com/astonysh生产力22341 次安装36 周前更新
代码仓库

关于 DeepReader

DeepReader 是供 OpenClaw Agent 使用的网页内容读取技能，会识别消息中的 URL，提取内容并以带 YAML frontmatter 的 Markdown 保存到 Agent 记忆。它针对 X、Reddit、YouTube 及普通网页采用不同解析方式。

主要功能

  1. 01自动检测消息中的 URL
  2. 02提取 X 帖子、串文和个人资料
  3. 03读取 Reddit 帖子及热门评论
  4. 04获取 YouTube 视频字幕
  5. 05将内容保存为 Markdown 与 YAML 元数据

适用场景

  1. 01读取消息中分享的文章或文档
  2. 02获取 X 帖子或个人资料内容
  3. 03查看 Reddit 讨论及热门评论
  4. 04批量处理一条消息中的多个 URL

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/astonysh/openclaw-deepreeder --skill deepreader

安装后在 Claude Code 中输入/deepreader确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

__init__.py
manifest.json
requirements.txt
core/
storage.py
__init__.py
router.py
utils.py
integrations/
__init__.py
notebooklm.py
parsers/
base.py
__init__.py
generic.py
youtube.py
reddit.py
twitter.py

详细介绍

DeepReader

OpenClaw Agent 的默认网页内容阅读器。自动检测消息中的 URL，使用专用解析器获取内容，并将整理后的 Markdown（含 YAML 前置元数据）保存到 Agent 记忆中。

使用场景

  1. 用户分享了推文、推文串、X 文章或 X 个人资料，而你需要阅读其中的内容
  2. 用户分享了Reddit 帖子，而你需要查看讨论内容和热门评论
  3. 用户分享了YouTube 视频，而你需要获取字幕
  4. 用户分享了任意博客、文章或文档 URL，而你需要获取文本
  5. 你需要从一条消息中批量读取多个 URL

支持的来源

来源方法需要 API 密钥？
Twitter / X（推文和个人资料）FxTwitter API + Nitter 回退方案否
Reddit.json 后缀 API否
YouTubeyoutube-transcript-api否
任意 URLTrafilatura + BeautifulSoup否

用法

from deepreader_skill import run

# Automatic — triggered when message contains URLs
result = run("Check this out: https://x.com/user/status/123456")

# X profile snapshot
result = run("https://x.com/thdxr")

# Reddit post with comments
result = run("https://www.reddit.com/r/python/comments/abc123/my_post/")

# YouTube transcript
result = run("https://youtube.com/watch?v=dQw4w9WgXcQ")

# Any webpage
result = run("https://example.com/blog/interesting-article")

# Multiple URLs at once
result = run("""
  https://x.com/user/status/123456
  https://www.reddit.com/r/MachineLearning/comments/xyz789/
  https://example.com/article
""")

输出

内容将保存为 .md 文件，并包含结构化的 YAML 前置元数据：

---
title: "Tweet by @user"
source_url: "https://x.com/user/status/123456"
domain: "x.com"
parser: "twitter"
ingested_at: "2026-02-16T12:00:00Z"
content_hash: "sha256:..."
word_count: 350
---

配置

变量默认值说明
DEEPREEDER_MEMORY_PATH../../memory/inbox/保存读取内容的位置（绝对路径，或相对于仓库根目录的路径）
DEEPREEDER_LOG_LEVELINFO日志详细程度（DEBUG、INFO、WARNING、ERROR）

工作原理

URL detected → is Twitter/X?  → FxTwitter API → Nitter fallback
             → is Reddit?     → .json suffix API
             → is YouTube?    → youtube-transcript-api
             → otherwise      → Trafilatura (generic)

当任何消息包含 https:// 或 http:// 时自动触发。

评论

支持 Markdown