自定义多轮对话数据集，只学习最后一轮对话

[cat-knight]

Reminder

• I have read the README and searched the existing issues.

System Info

略

Reproduction

略

Expected behavior

如题，现在 SFT 的自定义数据集会学习历史对话。那如何只学习最后一轮对话呢。

Others

No response

[YeQiuO]

去看看这两个PR #4878 #5115

具体来说，在 sft 下使用 mask_history 参数

[Syno8]

@YeQiuO hi,我发现我使用这个参数以后，我在验证集上的损失，是逐渐上升的

[YeQiuO]

@YeQiuO hi,我发现我使用这个参数以后，我在验证集上的损失，是逐渐上升的

训练loss降低，验证loss升高，那就是过拟合了呗，优化下数据吧

[Syno8]

原因是什么呢？
是加了这个参数，所需要的数据量要求变多了嘛？
特意做了一下消融实验，觉得奇怪🤔

[YeQiuO]

原因是什么呢？ 是加了这个参数，所需要的数据量要求变多了嘛？ 特意做了一下消融实验，觉得奇怪🤔

这个参数就是把之前的对话历史全部mask，只训练最后一轮对话呀
如果你的数据不是类似思维链，需要推理的。那么可以认为你只训练了模型针对长历史对话训练的能力，而验证集的对话历史又比较短的话，就会出现loss上升吧。

总而言之，这个参数可以认为模型只训练了最后一轮对话

[Syno8]

不是这个原因，我验证集是从训练集分出来的一部分，除非是验证集是算上历史的损失；

查了一下代码，初步判断是这个原因：eval的时候，没有生效这个mask history参数

[YeQiuO]

eval的时候确实不需要mask_history吧？lf的eval本来就只会测试最后一轮对话

…

---- 回复的原邮件 ---- | 发件人 | ***@***.***> | | 日期 | 2024年08月23日 16:02 | | 收件人 | ***@***.***> | | 抄送至 | Richard ***@***.***>***@***.***> | | 主题 | Re: [hiyouga/LLaMA-Factory] 自定义多轮对话数据集，只学习最后一轮对话 (Issue #5165) | 不是这个原因，我验证集是从训练集分出来的一部分，除非是验证集是算上历史的损失； 查了一下代码，初步判断是这个原因：eval的时候，没有生效这个mask history参数 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>

[Syno8]

如果训练集需要加，那验证集也要加的，否则就会推理和训练过程不一致的；

而且我加了之后，训练eval loss 正常了

[franklyd]

Hi @Syno8 想请教一下，验证集如何加入这个mask history参数呢？
需要改代码还是加入某一个参数？感谢！