MoC疑问

[Bellaqi12138]

MoC这篇论文中，关于元分块器掩码处理部分，有一些疑问，想问您是怎么解决运用掩码对内容进行掩盖时出现的幻觉问题，您的元分块器模型是通过微调来减少出现幻觉的问题吗，您是否出现了大模型进行分块时候有内容丢失的幻觉情况，我是否能只是通过调整prompt来进行掩码处理，虽然我们这样做了，但是效果并不是很好。有什么好的建议吗？

[Robot2050]

感谢您对我们项目的关注。在此，我想向您阐述我们在项目探索过程中的一些思考与实践，希望能为您改进文本分块方法带来一些启发。

项目初期，我们面临的挑战是：如何更好地对10万份文档进行文本分块。直接使用GPT-4o或Qwen-72B这类大型模型虽然可行，但该方案需要处理并输出完整的文档内容，导致Token消耗巨大且处理速度缓慢。

为了应对这一挑战，我们设计并实施了MoC框架。我们首先利用大模型处理了项目中的2万份文档，并按照论文构建了一套训练数据集。随后，我们利用该数据集对一个轻量级模型进行了全量微调。最终，剩余的文档便可由这个微调后的小模型高效地完成分块任务。

在这个过程中，我们也遇到了您提到的幻觉问题，这确实是当前模型训练中普遍存在的痛点。我们曾考虑过采用强化学习等更先进的训练方法，但在评估后认为，这可能会带来不成比例的资源消耗，得不偿失。

因此，我们最终决定回归本源，通过构建一个更丰富的数据集来解决此问题。我们的策略分为两个阶段：

1. 第一阶段（通用能力微调）： 我们从预训练语料中筛选并构建了4万条通用数据，对模型进行首次微调。这一步的目标是让模型理解分块任务，并遵循我们设定的输出格式。
2. 第二阶段（领域知识微调）： 在第一阶段的基础上，我们利用自有业务领域内的数据对模型进行二次微调。这样做可以提升模型在特定场景下的输出稳定性。

以我们训练的MoC模型为例，它正是基于最初那2万份文档的样本，将其划分为四个子集（每个约5000条数据）分别训练而成，最终在实际应用中保持了较好的输出效果。这个流程也说明每个分块专家不需要很多的领域数据也能训练成功。目前我们已经将所有的数据上传到了HuggingFace上面，其中第一阶段和第二阶段分别用到的是WanJuan1_MASK.json 和CRUD_MASK.jsonl。若您所处的领域同样面临与我们相仿的问题，期望上述经历能为您提供有价值的参考。