mcpField
T
text-splitter

text-splitter

github.com/vangong1999数据与数据库485120 次安装1 周前更新
代码仓库

关于 text-splitter

text-splitter 是用于按指定大小拆分文本的技能，适合长文本预处理与后续批处理。它优先在自然边界分割，并尽量保留格式和语义完整性。

主要功能

  1. 01按字符、Token、段落或分隔符分割
  2. 02优先选择自然边界
  3. 03保留原始格式与结构
  4. 04严格控制块大小
  5. 05提供带长度和索引的结构化结果

适用场景

  1. 01将长文本拆成 Agent 可处理的片段
  2. 02为摘要或内容分析预处理文本

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/vangong1999/screen-creative-skills --skill text-splitter

安装后在 Claude Code 中输入/text-splitter确认已加载。

附带文件references/examples.mdscripts/text_splitter.py

详细介绍

来自项目 README

文本分割工具

功能

将文本分割成指定大小的块，保持语义完整性，便于后续的批处理和分析。

使用场景

  • 处理超长文本，将其拆分为智能体可处理的片段。
  • 进行文本预处理，为后续的内容分析、摘要或评估任务提供标准化输入。
  • 优化文本处理流程，确保每个处理单元的大小可控且语义完整。

核心能力

  • 语义完整性优先: 在分割时尽量避免截断句子或段落，优先在自然边界处（如句号、换行符）分割，确保每个块的语义完整性。
  • 保持原始格式: 在分割过程中，努力保留文本的原始格式和结构，例如Markdown、HTML标签等。
  • 精确控制块大小: 严格按照指定的大小限制进行分割，确保每个文本块不超过预设的最大长度。
  • 多种分割策略: 支持基于字符数、token数、段落数或特定分隔符等多种分割策略。

输入要求

  • 文本内容: 待分割的原始文本。
  • 块大小限制: 每个文本块的最大长度（建议提供字符数或 token 数）。
  • 分割策略（可选）: 指定分割时优先考虑的策略，如按句分割、按段落分割、按特定分隔符分割等。

输出格式

【文本分割报告】

- 原始文本长度: [整数] 字/Token
- 目标块大小: [整数] 字/Token
- 实际分割块数: [整数] 块

### 分割结果
- 块1 (长度: [整数] 字/Token): "[内容预览...]"
- 块2 (长度: [整数] 字/Token): "[内容预览...]"
- 块3 (长度: [整数] 字/Token): "[内容预览...]"
...

约束条件

  • 分割结果必须严格符合指定的块大小限制。
  • 确保在分割时最大限度地保持文本的语义完整性。
  • 输出格式必须结构化，清晰展示每个文本块的内容和长度。
  • 避免在输出中引入任何额外信息或解释，只提供分割结果。

硬性约束

  • 优先按章节、场次、空行等自然边界分割
  • 单段尽量语义完整，避免从对话中间切断
  • 输出保留顺序索引，便于后续合并

参考资料

评论

支持 Markdown