mcpField
D
dedupe-rank

dedupe-rank

github.com/willoscarデータ・データベース51744 回インストール3 週間前に更新
リポジトリ

dedupe-rank について

dedupe-rankは、研究ワークフローで論文候補を重複排除し、安定したコアセットにまとめる決定論的なスキルです。後続の分類や構成作成に使われ、検索やスクリーニングは行いません。

主な機能

  1. 01タイトルと年による重複排除
  2. 02候補論文の決定論的な順位付け
  3. 03安定したpaper_idの生成
  4. 04重複排除済みJSONLとコアセットCSVの出力

活用シーン

  1. 01分類やアウトライン用の論文集合を準備
  2. 02同じ入力で順位付けを再現
  3. 03候補記録を扱いやすいコアセットに整理

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/willoscar/research-units-pipeline-skills --skill dedupe-rank

インストール後、Claude Code で/dedupe-rankを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

assets/domain_packs/
embodied_ai.json
llm_agents.json
references/
domain_pack_overview.md
scripts/
run.py

詳細

重複排除とランキング

トリガーとルーティング

  • トリガー: 重複排除、ランキング、コアセット、去重、排序、精选论文、核心集合。
  • 使用する場合: 検索後、幅広い候補集合を管理可能なコアセット（分類体系／アウトライン／マッピングに使用）に絞り込む必要がある場合。
  • スキップする場合: すでに安定した papers/core_set.csv が手作業で整理されている場合（再度変更する必要はありません）。
  • ネットワーク: なし。
  • ガードレール: 決定論的な処理を優先します。出力は再現可能である必要があります（安定した paper_id、フィールド規約）。

未加工の候補プールを、重複排除済みのプールと安定したコアセットに変換します。

入力

  • papers/papers_raw.jsonl

出力

  • papers/papers_dedup.jsonl
  • papers/core_set.csv

スクリプトの境界

scripts/run.py が担当するのは、次の処理のみです。

  • タイトルと年による重複排除
  • 決定論的なランキング
  • 安定した paper_id の生成

トピック固有または製品固有の処理には、共有ドメインパックまたはパイプライン契約のメタデータを使用してください。

契約に基づく動作

スクリプトでは、プロファイル名による分岐よりもパイプライン契約のメタデータを優先してください。

現在の重要なフィールド：

  • quality_contract.candidate_pool_policy.keep_full_deduped_pool
  • quality_contract.candidate_pool_policy.include_domain_pins
  • quality_contract.candidate_pool_policy.minimum_domain_surveys
  • quality_contract.candidate_pool_policy.survey_title_bonus

true の場合、ユーザーがコアセットのサイズを明示的に上書きしない限り、スクリプトは重複排除済みプール全体を papers/core_set.csv に保持します。 フォーカス型ブリーフィングのワークフローでは、広範な Survey の既定値を変更せずに、ドメインピンの無条件適用を無効化し、より小さなサーベイの下限数を設定して、汎用的なサーベイタイトルのボーナスを削除できます。

受け入れ条件

  • 重複排除済みの JSONL が存在する
  • コアセットの CSV が存在する
  • 同じ入力で再実行した場合、結果が安定している

対象外

  • 検索
  • スクリーニング
  • スクリプト内でのトピックの手動作成

コメント

Markdown 対応