#文本分割

wtpsplit

wtpsplit是一个开源的文本分割工具，实现了最新的SaT模型。它支持85种语言的句子和段落分割，具有高效、稳健的特点。该工具通过LoRA技术可适应特定领域和风格，提供多种模型大小以满足不同应用需求。wtpsplit在保持高性能的同时，还具有较低的计算成本，适用于从通用句子分割到特定领域文本处理的各种场景。