关于 embedding-strategies
面向向量搜索和 RAG 应用的嵌入模型选择与优化指南,涵盖模型匹配、分块、预处理及多语言内容处理。
主要功能
- 01嵌入模型对比
- 02分块与预处理建议
- 03领域微调指南
- 04降低向量维度
- 05多语言嵌入指南
适用场景
- 01为 RAG 选择模型
- 02优化向量搜索分块
- 03适配特定领域嵌入
- 04比较多语言模型选项
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ wshobson/ agents --skill embedding-strategies安装后在 Claude Code 中输入/embedding-strategies确认已加载。
附带文件references/details.md
详细介绍
嵌入策略
为向量搜索应用选择与优化嵌入模型的指南。
何时使用本技能
- 为 RAG 选择嵌入模型
- 优化分块策略
- 针对特定领域微调嵌入
- 比较嵌入模型性能
- 降低嵌入维度
- 处理多语言内容
核心概念
1. 嵌入模型比较(2026)
| 模型 | 维度 | 最大 Token 数 | 最适合 |
|---|---|---|---|
| voyage-3-large | 1024 | 32000 | Claude 应用(Anthropic 推荐) |
| voyage-3 | 1024 | 32000 | Claude 应用,高性价比 |
| voyage-code-3 | 1024 | 32000 | 代码搜索 |
| voyage-finance-2 | 1024 | 32000 | 金融文档 |
| voyage-law-2 | 1024 | 32000 | 法律文档 |
| text-embedding-3-large | 3072 | 8191 | OpenAI 应用,高准确率 |
| text-embedding-3-small | 1536 | 8191 | OpenAI 应用,高性价比 |
| bge-large-en-v1.5 | 1024 | 512 | 开源,本地部署 |
| all-MiniLM-L6-v2 | 384 | 256 | 快速、轻量 |
| multilingual-e5-large | 1024 | 512 | 多语言 |
2. 嵌入流水线
Document → Chunking → Preprocessing → Embedding Model → Vector
↓
[Overlap, Size] [Clean, Normalize] [API/Local]
模板与详细示例
完整模板库与详细示例见 references/details.md。需要具体模板时请阅读该文件。
最佳实践
应该做的
- 将模型与用例匹配:代码、散文还是多语言
- 谨慎分块:保留语义边界
- 归一化嵌入:用于余弦相似度搜索
- 批量请求:比逐条请求更高效
- 缓存嵌入:避免对静态内容重复计算
- 在 Claude 应用中使用 Voyage AI:Anthropic 推荐
不应该做的
- 不要忽视 Token 限制:截断会丢失信息
- 不要混用嵌入模型:向量空间不兼容
- 不要跳过预处理:垃圾进,垃圾出
- 不要过度分块:会丢失重要上下文
- 不要忘记元数据:对过滤和调试至关重要
评论
支持 Markdown