文章目录摘要Abstract一、项目调整以及结论1. 模块修改2. 环境验证与复测情况3. 实验数据与结论4. 现存阻塞与未完成工作总结摘要本周主要对优化glyph-ficoco多文档任务性能在不明显损失压缩率前提下修复模型在hotpotqa、2wikimqa、musique数据集上效果退化问题优先保障2wikimqa/musique指标局部优化hotpotqa且不破坏整体均衡性。AbstractThis week, I focused on optimizing the performance of Glyph-FiCoCo on multi-document tasks. Without significantly sacrificing the compression ratio, I fixed the performance degradation of the model on the HotpotQA, 2WikiMQA and MuSiQue datasets. Prioritizing the metrics of 2WikiMQA and MuSiQue, I performed partial optimizations for HotpotQA while preserving the overall balance of model performance.一、项目调整以及结论1. 模块修改本次共修改 5 类核心代码文件覆盖检索、流水线、推理、评测、单元测试模块检索模块retrieval.py重构句级压缩逻辑由单纯词命中筛选升级为结构保留 分档压缩优先保留首句、关键实体句、多跳桥接句再通过综合分值补充文本新增 4 类检索配置模板multi_hop/default/summary/code新增问句类型识别针对时间、地点、人物类问句及 HotpotQA 关系型问题增加句子权重加分实现查询实体自动抽取支持引号实体、大写专有短语识别。流水线模块pipeline.py渲染接口支持传入检索配置模板报告日志写入检索模板标识实现检索配置全链路透传至渲染阶段。推理模块inference.py基于检索模板差异化配置压缩档位支持按数据集覆盖检索参数单独为 HotpotQA 定制实验开关最终不纳入默认方案页级重排序链路完成接入词法得分→实体 / 问句规则→无依赖 BM25→轻量化稠密重排复用模型 Embedding实验结论BM25、轻量化稠密重排功能可用但无法提升 HotpotQA Top10 指标。LongBench 评测脚本post_api_longbench.py核心修复修复clean_prediction清洗逻辑解决未闭合 标签导致答案被清空、评测数据失真问题新增短答 Prompt 约束限制模型仅输出答案、禁止推理过程新增 HotpotQA 专项优化实验入口验证单独放宽检索资源方案无效不保留为默认策略。测试用例test_ficoco_selection.py补充多跳压缩、激进摘要模式、BM25 实体共现打分相关测试逻辑环境无 pytest 未执行自动化测试全部文件完成语法校验。2. 环境验证与复测情况基础闭环验证Gen_env环境部署完成最小用例测试Glyph 渲染、FiCoCo 基础功能、本地模型推理全部运行正常。多数据集采样复测方案选取hotpotqa/2wikimqa/musique各前 10 条样本完整执行查询引导 FiCoCo 压缩全链路实测。3. 实验数据与结论基线问题早期实验指标异常根源为评测清洗逻辑缺陷大量样本输出空答案相关数据作废最终结论以修复评测链路后的结果为准。最优平衡配置指标表格数据集 评测得分 单样本平均 Prompt Tokenhotpotqa 24.38 346.52wikimqa 28.82 310.0musique 25.12 342.4多文档 QA 均值 26.11 332.97Token 总量符合 300-350 约束区间。HotpotQA 专项调优结论针对 HotpotQA 开展 5 组定向优化实验放宽检索资源、句级关系排序、页级实体规则重排、BM25 重排、轻量化稠密重排全部方案均无法提升指标当前规则检索、轻量重排路径已达性能天花板。五、落地推荐最终配置保留本次迭代的查询引导 FiCoCo 分层压缩方案固定 LongBench 评测脚本修复逻辑与短答 Prompt 约束默认启用multi_hop多跳压缩档位关闭 HotpotQA 专属增强开关不作为全局默认策略BM25、轻量化稠密重排仅作为扩展功能保留不纳入标准配置。4. 现存阻塞与未完成工作待验证任务计划接入外部轻量检索模型BAAI/bge-small-en-v1.5、intfloat/e5-small-v2完成实测。环境阻塞原因Gen_env缺失sentence_transformers依赖库本地无预下载 BGE/E5 类检索模型缓存Hugging Face 模型下载网络不通。当前瓶颈总结仅依靠内置规则、BM25、模型自有 Embedding 重排无法突破 HotpotQA 性能上限。总结1解决核心评测缺陷消除空答案带来的指标失真问题产出一套可稳定复现、Token 可控的多文档均衡压缩方案2充分验证本地规则类优化手段确认现有方案无法继续提升 HotpotQA 效果3,明确下一阶段技术迭代方向放弃持续本地调参转向外部检索模型或升级 VLM。