mcpField
E
embedding-strategies

embedding-strategies

github.com/wshobson数据与数据库41.9k11.5k 次安装2 周前更新
代码仓库

关于 embedding-strategies

面向向量搜索和 RAG 应用的嵌入模型选择与优化指南,涵盖模型匹配、分块、预处理及多语言内容处理。

主要功能

  1. 01嵌入模型对比
  2. 02分块与预处理建议
  3. 03领域微调指南
  4. 04降低向量维度
  5. 05多语言嵌入指南

适用场景

  1. 01为 RAG 选择模型
  2. 02优化向量搜索分块
  3. 03适配特定领域嵌入
  4. 04比较多语言模型选项

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/wshobson/agents --skill embedding-strategies

安装后在 Claude Code 中输入/embedding-strategies确认已加载。

附带文件references/details.md

详细介绍

嵌入策略

为向量搜索应用选择与优化嵌入模型的指南。

何时使用本技能

  • 为 RAG 选择嵌入模型
  • 优化分块策略
  • 针对特定领域微调嵌入
  • 比较嵌入模型性能
  • 降低嵌入维度
  • 处理多语言内容

核心概念

1. 嵌入模型比较(2026)
模型维度最大 Token 数最适合
voyage-3-large102432000Claude 应用(Anthropic 推荐)
voyage-3102432000Claude 应用,高性价比
voyage-code-3102432000代码搜索
voyage-finance-2102432000金融文档
voyage-law-2102432000法律文档
text-embedding-3-large30728191OpenAI 应用,高准确率
text-embedding-3-small15368191OpenAI 应用,高性价比
bge-large-en-v1.51024512开源,本地部署
all-MiniLM-L6-v2384256快速、轻量
multilingual-e5-large1024512多语言
2. 嵌入流水线
Document → Chunking → Preprocessing → Embedding Model → Vector
                ↓
        [Overlap, Size]  [Clean, Normalize]  [API/Local]

模板与详细示例

完整模板库与详细示例见 references/details.md。需要具体模板时请阅读该文件。

最佳实践

应该做的
  • 将模型与用例匹配:代码、散文还是多语言
  • 谨慎分块:保留语义边界
  • 归一化嵌入:用于余弦相似度搜索
  • 批量请求:比逐条请求更高效
  • 缓存嵌入:避免对静态内容重复计算
  • 在 Claude 应用中使用 Voyage AI:Anthropic 推荐
不应该做的
  • 不要忽视 Token 限制:截断会丢失信息
  • 不要混用嵌入模型:向量空间不兼容
  • 不要跳过预处理:垃圾进,垃圾出
  • 不要过度分块:会丢失重要上下文
  • 不要忘记元数据:对过滤和调试至关重要

评论

支持 Markdown