indexion-segment

indexion セグメント

発散ベース、TF-IDF、または句読点の方式を使って、テキストを文脈に沿ったセグメントに分割します。

使用する場面

• RAG や埋め込みパイプライン用にテキストを分割したい場合
• ドキュメントを意味のあるセクションに分割したい場合
• 処理用にテキストをセグメント化したい場合
• ドキュメントより細かい単位で類似性を分析するためにテキストを準備する場合

使用方法

# Default window divergence strategy
indexion segment <input-file> <output-dir>

# TF-IDF based segmentation
indexion segment --strategy=tfidf <input-file> <output-dir>

# Punctuation-based segmentation
indexion segment --strategy=punctuation <input-file> <output-dir>

# Custom segment sizes
indexion segment --min-size=200 --max-size=3000 --target-size=800 document.txt output/

# Custom divergence threshold
indexion segment --threshold=0.5 document.txt output/

# Adaptive threshold mode (default)
indexion segment --adaptive document.txt output/

# Hybrid NCD+TF-IDF mode
indexion segment --hybrid --ncd-weight=0.6 --tfidf-weight=0.4 document.txt output/

# Custom window size
indexion segment --window-size=5 document.txt output/

# Custom output prefix
indexion segment --prefix=chunk document.txt output/

オプション

オプション	デフォルト	説明
--strategy=NAME	window	方式：window、tfidf、punctuation
--min-size=INT	100	セグメントの最小文字数
--max-size=INT	2000	セグメントの最大文字数
--target-size=INT	500	セグメントの目標文字数
--threshold=FLOAT	0.42	発散のしきい値
--window-size=INT	3	ウィンドウサイズ
--adaptive	true	適応型しきい値モード
--hybrid	false	NCD+TF-IDF のハイブリッドモード
--ncd-weight=FLOAT	0.5	ハイブリッドモードでの NCD の重み
--tfidf-weight=FLOAT	0.5	ハイブリッドモードでの TF-IDF の重み
--prefix=NAME	segment	出力ファイルのプレフィックス

方式

方式	説明
window（デフォルト）	スライディングウィンドウによる発散検出
tfidf	TF-IDF ベースのトピック変化検出
punctuation	句読点／文境界ベース

ワークフロー

1. indexion segment <input-file> <output-dir> を実行して、デフォルト設定でテキストを分割します
2. --threshold と --target-size を調整して、分割の粒度を調整します
3. 複数のコンテンツが混在するドキュメントで精度を高めるには、--hybrid モードを使用します