mcpField
D
dedupe-rank

dedupe-rank

github.com/willoscar数据与数据库51744 次安装3 周前更新
代码仓库

关于 dedupe-rank

dedupe-rank 是用于研究流程的确定性技能，可将原始论文候选项整理为去重记录和稳定的核心集合，供后续分类与组织；不负责检索或筛选。

主要功能

  1. 01按标题和年份去重
  2. 02确定性排序候选论文
  3. 03生成稳定的 paper_id
  4. 04输出去重 JSONL 和核心集合 CSV

适用场景

  1. 01为分类或大纲准备论文集合
  2. 02对相同输入重复执行排序
  3. 03将原始候选记录整理为可管理的核心集合

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/willoscar/research-units-pipeline-skills --skill dedupe-rank

安装后在 Claude Code 中输入/dedupe-rank确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

assets/domain_packs/
embodied_ai.json
llm_agents.json
references/
domain_pack_overview.md
scripts/
run.py

详细介绍

去重 + 排序

触发条件与路由

  • 触发词：去重、排序、核心集合、去重、排序、精选论文、核心集合。
  • 适用场景：检索后需要将广覆盖集合收敛为可管理的核心集合（用于 taxonomy/outline/mapping）。
  • 跳过条件：已有人工整理的稳定 papers/core_set.csv（无需再次 churn）。
  • 网络：无。
  • 防护措施：倾向于确定性；输出应可重复（稳定的 paper_id、字段规范）。

将原始候选池转换为去重后的候选池和稳定的核心集合。

输入

  • papers/papers_raw.jsonl

输出

  • papers/papers_dedup.jsonl
  • papers/core_set.csv

脚本边界

scripts/run.py 仅应负责：

  • 标题/年份去重
  • 确定性排序
  • 稳定的 paper_id 生成

针对特定主题或产品的行为应使用共享领域包或流水线契约元数据。

契约驱动的行为

脚本应优先使用流水线契约元数据，而不是基于配置文件名称进行分支处理。

当前重要字段：

  • quality_contract.candidate_pool_policy.keep_full_deduped_pool
  • quality_contract.candidate_pool_policy.include_domain_pins
  • quality_contract.candidate_pool_policy.minimum_domain_surveys
  • quality_contract.candidate_pool_policy.survey_title_bonus

如果该值为 true，除非用户明确覆盖核心集合大小，否则脚本会在 papers/core_set.csv 中保留完整的去重后候选池。 重点简报工作流可以禁用无条件领域固定项、预留更小的综述数量下限，并移除通用的综述标题加分，而不影响宽泛 Survey 默认设置。

验收标准

  • 去重后的 JSONL 文件存在
  • 核心集合 CSV 文件存在
  • 使用相同输入重新运行时结果稳定

非目标

  • 检索
  • 筛选
  • 在脚本中手动编写主题

评论

支持 Markdown