关于 indexion-segment
indexion-segment 是用于将文本切分为上下文片段的命令行技能，适合准备 RAG、嵌入和细粒度相似度分析的数据。它提供滑动窗口差异度、TF-IDF 和标点边界策略，并可调整片段大小。
主要功能
- 01滑动窗口差异度切分
- 02基于 TF-IDF 的主题切分
- 03按标点和句子边界切分
- 04配置片段大小与阈值
- 05混合 NCD 与 TF-IDF 模式
适用场景
- 01为 RAG 或嵌入流程分块文本
- 02将文档拆分为有意义的章节
- 03按子文档粒度进行相似度分析
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/indexion-segment确认已加载。
详细介绍
indexion 分段
使用基于差异度、TF-IDF 或标点符号的策略，将文本拆分为上下文连贯的片段。
适用场景
- 用户需要为 RAG 或嵌入流程对文本分块
- 用户想将文档拆分为有意义的章节
- 用户要求对文本进行分段处理
- 为文档级别的相似度分析准备文本
用法
# Default window divergence strategy
indexion segment <input-file> <output-dir>
# TF-IDF based segmentation
indexion segment --strategy=tfidf <input-file> <output-dir>
# Punctuation-based segmentation
indexion segment --strategy=punctuation <input-file> <output-dir>
# Custom segment sizes
indexion segment --min-size=200 --max-size=3000 --target-size=800 document.txt output/
# Custom divergence threshold
indexion segment --threshold=0.5 document.txt output/
# Adaptive threshold mode (default)
indexion segment --adaptive document.txt output/
# Hybrid NCD+TF-IDF mode
indexion segment --hybrid --ncd-weight=0.6 --tfidf-weight=0.4 document.txt output/
# Custom window size
indexion segment --window-size=5 document.txt output/
# Custom output prefix
indexion segment --prefix=chunk document.txt output/
选项
| 选项 | 默认值 | 说明 |
|---|---|---|
--strategy=NAME | window | 策略：window、tfidf、punctuation |
--min-size=INT | 100 | 片段的最小字符数 |
--max-size=INT | 2000 | 片段的最大字符数 |
--target-size=INT | 500 | 片段的目标字符数 |
--threshold=FLOAT | 0.42 | 差异度阈值 |
--window-size=INT | 3 | 窗口大小 |
--adaptive | true | 自适应阈值模式 |
--hybrid | false | NCD+TF-IDF 混合模式 |
--ncd-weight=FLOAT | 0.5 | 混合模式中的 NCD 权重 |
--tfidf-weight=FLOAT | 0.5 | 混合模式中的 TF-IDF 权重 |
--prefix=NAME | segment | 输出文件前缀 |
策略
| 策略 | 说明 |
|---|---|
window（默认） | 使用滑动窗口检测差异度 |
tfidf | 基于 TF-IDF 检测主题变化 |
punctuation | 基于标点符号或句子边界 |
工作流
- 运行
indexion segment <input-file> <output-dir>，使用默认设置拆分文本 - 调整
--threshold和--target-size，以控制分段粒度 - 对混合内容文档使用
--hybrid模式，以提高准确性
评论
支持 Markdown