Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

EWC的训练 #4

Open
xiaobingbuhuitou opened this issue Jul 14, 2022 · 2 comments
Open

EWC的训练 #4

xiaobingbuhuitou opened this issue Jul 14, 2022 · 2 comments

Comments

@xiaobingbuhuitou
Copy link

大佬请问一下您这边使用ewc进行训练的时候第一个任务是没有使用ewc的么,就是训练一个基础模型。然后后面的任务才使用ewc进行约束了?还是说先进行训练第一个任务的基础模型然后这个模型再用ewc训练了一次。。(可能是我代码没理解好)

@AprLie
Copy link
Owner

AprLie commented Jul 14, 2022

感谢关注.

第一个任务(即第一年)对应的模型是没用 EWC 训练的, EWC 设计和使用的初衷是图上有动态(结构或节点流模式),因此在第一年的模型学习中不考虑 EWC 的使用.

希望解答您的问题.

@xiaobingbuhuitou
Copy link
Author

大佬,我还想请教您一个问题,就是您这边后面任务(后面的年份)使用ewc的时候是如何计算ewc约束的,就是ewc不是要求出之前任务的参数重要度么,您是直接使用当前任务的训练数据集来计算这个模型对于前一个任务的参数重要度的么?我看这边的ewc_dataloader是当前的么。。 非常感谢了。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants