二 数据治理2.3基于Dify的文本分割Dify支持通过直接上传文档实现文本分割如图2-1所示用户可导入现有文本文件进而执行后续的分段与清洗操作。目前Dify 已兼容 MD、MDX、MARKDOWN、HTM、PROPERTIES、TXT、VTT、XLSX、PDF、CSV、DOCX、HTML、XLS 等多种文件格式。需注意的是单次批量上传最多支持5个文件单个文件大小上限为15 MB累计上传文件总数不超过20个。针对更大规模的文件处理需求用户可自行编写Python脚本实现批量上传此处不再展开详述。图2-1 Dify上传文档数据此外Dify 的文本分段与清洗模块支持自定义分段标识符、分段最大长度、分段重叠长度等参数并提供预设的文本预处理规则如图2-2所示。经多方对比与经验分析在实际数据库构建中采用如下配置分段标识符选用 \n\n、\n、.符合英文论文写作规范分段最大长度设为1024字符分段重叠长度设为50字符均采用 Dify 默认推荐值。文本预处理规则包括替换连续空格、换行符及制表符同时保留 URL 与电子邮件地址。上述设置充分契合智能体应用的实际场景需求。图2-2 Dify文本分段与清洗由此即可构建完整的知识库如图2-3所示文本切割流程。该流程操作简便、上手门槛低与Dify后续处理环节高度兼容但其自定义扩展能力相对有限可调参数与个性化修改空间较小。图2-3 Dify知识库示例