mcpField
L
list-dedup

list-dedup

github.com/cold-iq数据与数据库347 次安装2 周前更新
代码仓库

关于 list-dedup

用于 ColdIQ enrichment 前清理和去重联系人及公司列表的数据处理技能。它以规范化的 LinkedIn URL 为主要匹配键，且不会调用 API。

主要功能

  1. 01规范化 LinkedIn URL
  2. 02按 URL 或邮箱去重联系人
  3. 03按 URL 或名称去重公司
  4. 04将多来源数据整理为统一结构
  5. 05保留评分最高的重复记录
  6. 06限制每家公司联系人数量

适用场景

  1. 01在 enrichment 前清理名单
  2. 02合并多个来源的联系人
  3. 03保留评分最高的重复记录
  4. 04限制每家公司分配的联系人数量

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/cold-iq/coldiq-marketplace-skills --skill list-dedup

安装后在 Claude Code 中输入/list-dedup确认已加载。

附带文件resources/credit-optimization.md

详细介绍

列表去重

一种纯数据处理工具：在进行任何 ColdIQ 丰富处理之前，先去重和清理。这是节省积分效果最大的做法——每去掉一条重复记录，就少进行一次付费查找或丰富处理。参见 resources/credit-optimization.md。此技能不会进行任何 API 调用。

何时去重

  • 丰富处理前（绝不要为同一个人付费进行两次丰富处理）
  • 合并多个来源后（数据库搜索 + 丰富处理 + 广告抓取）
  • 评分后（合并重复记录，保留评分最高的行）

主键：LinkedIn URL（先规范化）

import re
def normalize_linkedin(url):
    if not url: return ""
    return re.sub(r'\?.*$', '', url).rstrip('/').lower().replace('https://www.', 'https://')

def dedup_people(rows):
    seen, out = set(), []
    for r in rows:
        key = normalize_linkedin(r.get('linkedin_url', '')) or (r.get('email','').lower())
        if key and key not in seen:
            seen.add(key); out.append(r)
    return out

次级键：公司名称 / 公司 LinkedIn URL

规范化公司名称（去掉 Inc/LLC/Ltd 后缀，转换为小写），或者更好地，在有公司 LinkedIn URL 时使用它去重。

多来源合并模式

  1. 规范化列 — 将每个来源的列映射到一个标准架构 (full_name, title, linkedin_url, email, company_name, company_domain, company_linkedin, source, score)。
  2. 加载所有来源的 CSV 文件。
  3. 去重 — 按规范化的 LinkedIn URL 去重联系人（备用键为电子邮件）；按公司 LinkedIn URL / 名称去重公司。
  4. 排序并导出 — Tier 1 优先，然后按人物类型，再按公司名称排序。

每家公司联系人上限

每家公司最多保留 5–10 位联系人，避免对同一个客户账户进行大量触达。按职位优先级排序（C 级 / VP / 总监 > 经理 > IC），为每个 company_domain 保留排名前 N 的联系人。

与 TAM 交叉比对

将联系人列表与已评分的 TAM 进行左连接，以附加 Tier，并在丰富处理前移除属于 DQ 公司联系人的记录。

检查清单

  • 比较前规范化 LinkedIn URL
  • 按 LinkedIn URL 对联系人去重（备用键为电子邮件）
  • 按 LinkedIn URL / 规范化名称对公司去重
  • 合并前将所有来源映射到同一个架构
  • 重复记录保留评分最高的行
  • 设置每家公司联系人上限（5–10 位）
  • 与 TAM 交叉比对，移除 DQ 公司
  • 然后进行丰富处理（参见 contact-enrichment）

评论

支持 Markdown