marketplace-recsys-feature-engineering

Marketplace 推荐系统特征工程最佳实践

从双边信任型 Marketplace 的原始素材——房源照片、房东提供的房源元数据和宠物寄养员向导问卷回答——中提取可用的推荐特征，用于物品到物品、用户到物品和用户到用户方案的完整第一性原理指南。包含 8 个类别中的 44 条规则，按其对特征工程生命周期的级联影响排序，另有一份将这些规则整合为端到端特征发现工作流的操作指南。

此技能是 marketplace-personalisation（AWS Personalize）和 marketplace-search-recsys-planning（OpenSearch 检索）的上游前置技能。这些技能将特征视为已有的输入；此技能则着眼于如何从原始素材中构建特征、这些特征服务于哪些决策，以及如何证明每个特征值得付出维护成本。

适用场景

在以下情况下，请参考此技能：

• 规划从房源照片、描述或设施列表中提取哪些内容，以支持 i2i 相似度或 u2i 排序
• 将推荐系统特征作为首要输出，设计或修订宠物寄养员入驻向导
• 决定是否构建视觉嵌入管道、文本编码器，或两者都不构建——以及按什么顺序构建
• 将现有基础特征组合起来，为物品到物品、用户到物品或用户到用户评分
• 审计现有特征存储，检查覆盖率、漂移、PII、重复项或孤立特征
• 为新的推荐系统特征选择上线/淘汰标准，并设计消融 A/B 测试
• 回答这个问题：“我们想改进相似房源展示位——应该构建什么特征？”

设置

此技能无需针对用户进行配置，可独立使用。参考资料链接指向 Airbnb、Pinterest、DoorDash、Uber、Netflix 和 Google 的工程博客，开源库（Feast、Sentence-Transformers、Hugging Face CLIP、H3），基础学术论文（Airbnb KDD 2018、Pinterest ItemSage、YouTube Semantic IDs、PinSage）以及 Google 的《机器学习规则》。

规则类别

类别按其对特征工程生命周期的级联影响排序：审计错误会导致在不存在的数据上构建特征；第一性原理错误会导致特征无法对应真实决策；提取错误会污染所有下游环节，以此类推。应先解决早期阶段的问题，再处理后续阶段的问题。

#	类别	前缀	影响
1	素材审计与清点	audit-	严重
2	第一性原理特征拆解	firstp-	严重
3	图像特征提取	vision-	高
4	房源文本与元数据提取	listing-	高
5	宠物寄养员向导与个人资料提取	wizard-	高
6	派生相似度与亲和度	derive-	中高
7	特征质量与治理	quality-	中高
8	增量式发布与价值验证	prove-	中

快速参考

1. 素材审计与清点（严重）

• audit-measure-coverage-before-modelling — 将覆盖率低于 80% 的字段排除在特征计划之外
• audit-sample-every-asset-type-end-to-end — 规划前，先通过真实获取路径拉取 100 个真实实例
• audit-verify-rights-and-privacy-before-extraction — 编码前检查 ToS、GDPR、同意情况及人脸模糊处理
• audit-quantify-freshness-per-asset — 年龄分布 + 过期情况 + 刷新分组
• audit-separate-raw-assets-from-derived-features — 原始素材在对象存储中保持不可变，派生特征在特征存储中进行版本管理

2. 第一性原理特征拆解（关键）

• firstp-start-from-the-decision-not-the-algorithm — 决策优先，其次是子判断，最后才是工具
• firstp-ask-what-signal-a-human-uses — 访谈 8-12 位房东和租客；特征都应能追溯到访谈原话
• firstp-tie-every-feature-to-a-specific-solution — 每个特征都必须对应一个明确的 i2i/u2i/u2u 消费方
• firstp-prefer-directly-observed-over-learned — 优先使用直接观测到的列，其次才是学习得到的嵌入
• firstp-reject-features-you-cannot-serve-at-inference — 训练与服务的一致性从设计阶段开始
• firstp-kill-features-a-popularity-baseline-already-captures — 注册前先进行相关性筛查

3. 图像特征提取（高优先级）

• vision-use-clip-for-zero-shot-listing-embeddings — 一周内即可交付零样本 CLIP
• vision-detect-room-types-before-detecting-amenities — 房间先验会影响便利设施的阈值
• vision-quantify-image-quality-separately-from-content — 将模糊度、光照和美感作为独立特征
• vision-extract-per-object-counts-not-just-presence — n_bed = 4 优于 has_bed = true
• vision-pool-embeddings-across-a-listings-photo-set — 汇总得到房源向量；同时存储每张照片的向量
• vision-fine-tune-on-your-domain-when-clip-underperforms — 仅在零样本效果趋于停滞后进行对比式微调

4. 房源文本和元数据提取（高优先级）

• listing-declare-categorical-fields-for-bounded-vocabularies — 有限词表 → 类别字段，写入时进行校验
• listing-multi-hot-encode-amenity-lists — 固定的便利设施词表 → 多热向量
• listing-hash-geo-to-hierarchies-not-raw-lat-lon — 使用多个分辨率的 H3
• listing-embed-description-with-pretrained-sentence-encoder — 使用 all-MiniLM-L6-v2，以低成本提取语义文本特征
• listing-extract-stay-duration-shape-not-just-length — 使用分箱、节假日重叠和灵活性，而非原始天数
• listing-encode-pet-requirements-as-structured-triples — 使用 (species, count, special_needs) 三元组，并同时保留自由文本

5. 保姆向导和资料提取（高）

• wizard-order-questions-by-information-gain — 优先提出区分度高的问题，叙述性问题放在最后
• wizard-prefer-multiple-choice-over-free-text — 通过设计获取分类特征
• wizard-make-skips-genuine-and-log-them — 跳过本身是信号；默认值会抹去这一信号
• wizard-capture-experience-as-counts-and-dates — 用数字而非形容词；平台历史记录优先于自我申报
• wizard-separate-hard-constraints-from-soft-preferences — 筛选条件与排序特征

6. 派生相似度与匹配度（中高）

• derive-precompute-i2i-nearest-neighbours-offline — 每晚构建 ANN 索引，存放在 KV 中，服务响应时间低于 5ms
• derive-fuse-modalities-before-item-similarity — 融合视觉、文本和结构化数据，并进行加权与归一化
• derive-use-two-tower-for-user-item-affinity — 基于交互数据训练双编码器，可用于 ANN 检索
• derive-score-u2u-as-symmetric-mutual-fit — min(P(owner), P(sitter))；单向评分会造成请求浪费
• derive-decompose-affinity-into-interpretable-subscores — 匹配度、安全性、物流和价格子评分，再加权汇总
• derive-cache-user-embedding-with-short-ttl — 使用会话级缓存，TTL 为 60-300s

7. 特征质量与治理（中高）

• quality-version-feature-definitions-in-one-registry — 一个名称、一种实现、一位负责人
• quality-serve-training-and-inference-from-one-store — 将特征存储作为唯一事实来源
• quality-gate-features-on-coverage-and-drift — 设置覆盖率下限和 PSI 告警
• quality-scrub-pii-before-features-leave-secure-zone — 编码前进行人脸模糊处理和正则表达式清理
• quality-freeze-feature-schemas-per-model-version — 将 schema 哈希固定到模型制品

8. 渐进式上线与价值验证（中）

• prove-ship-one-feature-at-a-time — 一个特征、一次实验、一个决策
• prove-measure-lift-against-feature-ablated-variant — 消融可将特征的影响与偶然变更区分开来
• prove-kill-features-that-dont-earn-maintenance — 每季度根据归因提升进行淘汰评审
• prove-dedicate-random-exploration-slice-to-new-features — 分配 3-5% 的流量进行探索，找出离线评估结果接近的优胜特征
• prove-retain-feature-free-baseline-permanently — 永久保留热门度基线作为漂移锚点

发现新功能

一本操作手册将规则整合成端到端工作流：

• references/playbooks/discovering.md — 从原始市场平台素材中发现新功能：一个七步工作流，从素材审查和决策拆解开始，到针对移除某项功能后的基线完成并发布消融 A/B 测试为止。当任务是“接下来应该构建什么？”，而不是“修复这个特定功能”时使用。

如果任务是开放式问题“我们如何从 X 中提取更多信号？”，请先阅读操作手册。遇到具体实现问题时，再阅读单项规则。

使用方法

• 阅读 references/_sections.md，了解类别结构和级联设计原理
• 提出干预建议前，阅读 gotchas.md，了解积累的诊断经验
• 阅读 references/playbooks/discovering.md，规划新功能发现周期
• 当具体任务与规则标题相符时，阅读 references/ 下的单项规则文件
• 随着技能不断完善，使用 assets/templates/_template.md 编写新规则

相关技能

• marketplace-personalisation — 在 AWS Personalize 上进行提取后的个性化：事件跟踪、架构设计、双向匹配、冷启动、反馈循环。功能入库并准备训练排序器后，转交给此技能。
• marketplace-search-recsys-planning — OpenSearch 检索规划：查询理解、索引设计、排序、搜索与推荐融合。瓶颈在于检索而非功能可用性时，转交给此技能。
• marketplace-pre-member-personalisation — 从匿名访问到付费会员的会员前旅程：匿名信号推断、新手引导意图采集、会员前衡量。到达付费会员节点时，转交给此技能。

参考文件

文件	说明
references/_sections.md	类别定义、影响排序、级联设计原理
references/playbooks/discovering.md	端到端功能发现操作手册
gotchas.md	积累的特征工程诊断经验（持续更新）
assets/templates/_template.md	编写新规则的模板
metadata.json	版本、专业领域、权威参考资料