about train GCNV

[Linsongrong]

@yl-1993 作者您好，我在想训练一个接受512维输入的GCN-V网络，但在配置参数时，我有些疑惑。

其中原始的nclass=1，我对这个参数配置感到疑惑，我不明白为什么是一，这不是要分类的个数吗？请您解答我的疑惑。期望您的早日答复。

[yl-1993]

@Linsongrong 您好，GCN-V的目标是让每个vertex只输出一个confidence，用来表示其属于特别类别的置信度，故而nclass设置为1

[XHQC]

@yl-1993 @Linsongrong 你好，检测了下GCN-V输入的是feature_dim=256,但我们提取的特征集都是512，而看你们都是提取512维特征，这个是不是相互矛盾呢？向各位求解

[Linsongrong]

提的是256维啊 获取 Outlook for Android<https://aka.ms/ghei36>

…

________________________________ From: cvlmm <[email protected]> Sent: Tuesday, September 15, 2020 11:36:50 AM To: yl-1993/learn-to-cluster <[email protected]> Cc: Linsongrong <[email protected]>; Mention <[email protected]> Subject: Re: [yl-1993/learn-to-cluster] about train GCNV (#60) @yl-1993<https://github.com/yl-1993> @Linsongrong<https://github.com/Linsongrong> 你好，检测了下GCN-V输入的是feature_dim=256,但我们提取的特征集都是512，而看你们都是提取512维特征，这个是不是相互矛盾呢？向各位求解 ― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQIE43MJFDQSVCXYUZMDSF3ONFANCNFSM4PKGIX5Q>.

[XHQC]

@yl-1993 @Linsongrong ，再次请教你们
目前由于自身训练的特征提取模型是512的，所有想训练基于512特征的GCN_V和GCN_E模型，使用的也是face_emore 5.8M的训练集，目前参考cfg_train_gcnv_ms1m来布置训练，但得到的损失一直为 losss: nan ， 微调lr=0.01以后损失在很快降低到0.009以下，训练20000次后，用训练集进行测试分值在0.9以上，不同阈值分类数量差很多，这是运用10W小数据，试跑的情况，现在开始尝试5.8M数据训练
@yl-1993 请问作者和大家，我该如何配置参数训练，已得到好的结果呢

[Linsongrong]

你好，不知道你的config.py是怎么配置，无法判断你的错误，正常来说只需要改model的 feature_dim就可以了。 发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用

…

________________________________ 发件人: cvlmm <[email protected]> 发送时间: Thursday, September 17, 2020 5:40:49 PM 收件人: yl-1993/learn-to-cluster <[email protected]> 抄送: Linsongrong <[email protected]>; Mention <[email protected]> 主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60) @yl-1993<https://github.com/yl-1993> @Linsongrong<https://github.com/Linsongrong> ，再次请教你们 目前想训练基于512特征的GCN_V和GCN_E模型，使用的也是face_emore 5.8M的训练集，目前参考cfg_train_gcnv_ms1m来布置训练，但得到的损失一直为 losss: nan ， @yl-1993<https://github.com/yl-1993> 请问作者和大家，我该如何配置参数训练，已得到好的结果呢 ― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQIC36GQVX6VJMCH56NLSGHKSDANCNFSM4PKGIX5Q>.

[Linsongrong]

另外检查你的学习率。太大会导致模型不收敛。 发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用

…

________________________________ 发件人: cvlmm <[email protected]> 发送时间: Thursday, September 17, 2020 5:40:49 PM 收件人: yl-1993/learn-to-cluster <[email protected]> 抄送: Linsongrong <[email protected]>; Mention <[email protected]> 主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60) @yl-1993<https://github.com/yl-1993> @Linsongrong<https://github.com/Linsongrong> ，再次请教你们 目前想训练基于512特征的GCN_V和GCN_E模型，使用的也是face_emore 5.8M的训练集，目前参考cfg_train_gcnv_ms1m来布置训练，但得到的损失一直为 losss: nan ， @yl-1993<https://github.com/yl-1993> 请问作者和大家，我该如何配置参数训练，已得到好的结果呢 ― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQIC36GQVX6VJMCH56NLSGHKSDANCNFSM4PKGIX5Q>.

[XHQC]

@Linsongrong
嗯，感谢你的回复！ 其他参数没动，改了feature_dim=512,lr=0.05，会有损失值，若默认为 lr=0.1则出现损失 loss = nan
尝试训练5.8M的数据集，以提高模型泛化能力，但完全走不动，请问你是怎么制定数据集大小的呢？，可以根据什么准确计算得到数据集限制大小呢

[Linsongrong]

我不知道怎么回答你，我认为这和数据集大小关系不大。 发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用

…

________________________________ 发件人: cvlmm <[email protected]> 发送时间: Friday, September 18, 2020 3:48:46 PM 收件人: yl-1993/learn-to-cluster <[email protected]> 抄送: Linsongrong <[email protected]>; Mention <[email protected]> 主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60) @Linsongrong<https://github.com/Linsongrong> 嗯，感谢你的回复！ 其他参数没动，改了feature_dim=512,lr=0.05，会有损失值，若默认为 lr=0.1则出现损失 loss = nan 尝试训练5.8M的数据集，以提高模型泛化能力，但完全走不动，请问你是怎么制定数据集大小的呢？，可以根据什么准确计算得到数据集限制大小呢 ― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQIHPUFPM77GOQC22AX3SGMGF5ANCNFSM4PKGIX5Q>.

[Linsongrong]

或许可以考虑学习率的衰减步长，把他改小一点 发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用 发件人: cvlmm<mailto:[email protected]> 发送时间: 2020年9月18日 15:48 收件人: yl-1993/learn-to-cluster<mailto:[email protected]> 抄送: Linsongrong<mailto:[email protected]>; Mention<mailto:[email protected]> 主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60) @Linsongrong<https://github.com/Linsongrong> 嗯，感谢你的回复！ 其他参数没动，改了feature_dim=512,lr=0.05，会有损失值，若默认为 lr=0.1则出现损失 loss = nan 尝试训练5.8M的数据集，以提高模型泛化能力，但完全走不动，请问你是怎么制定数据集大小的呢？，可以根据什么准确计算得到数据集限制大小呢 ― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQIHPUFPM77GOQC22AX3SGMGF5ANCNFSM4PKGIX5Q>.

[XHQC]

@Linsongrong 嗯，正在尝试。你目前对于512GCNV网络训练取得的成绩怎样呢，引用做参考

[Linsongrong]

1.数据集大小是有限制的，如果用gpu来训练的话，这取决与你的显存，由于是对整图进行训练，占用内存会非常大。 2.我没有对gcnv进行重新训练。 发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用 发件人: cvlmm<mailto:[email protected]> 发送时间: 2020年9月18日 16:11 收件人: yl-1993/learn-to-cluster<mailto:[email protected]> 抄送: Linsongrong<mailto:[email protected]>; Mention<mailto:[email protected]> 主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60) @Linsongrong<https://github.com/Linsongrong> 嗯，正在尝试。你目前对于512GCNV网络训练取得的成绩怎样呢，引用做参考 ― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQICS3XBNMAGNM3ATZZTSGMI25ANCNFSM4PKGIX5Q>.

[XHQC]

@Linsongrong @yl-1993
对于256特征我有以下探讨意见
基于256特征维度提取到的人脸特征，用作人脸识别鲁棒性没有512特征维度强，用作聚类进行衔接项目，降低维度来进行聚类，有两种方法：1、是训练输出256特征网络，但会降低模型总体能力，从大数据上考量，即使很小值也会产生非常大的数量差距；2、从512特征上稀疏到256上来进行聚类，这个没尝试过，不知道你是否有试过
个人分析对于512特征聚类相比于256聚类的劣势是速度上会有所降低，运算资源占用相对较多，但优势在取得分数上会相对容易得到高分，且最终结果也相对会高一些，可能不多，这受限于模型的复杂度

[Linsongrong]

@XHQC 你好， 你是对的，你对GCNV重新进行512维训练出结果了吗？效果如何？相比256维，时间花费大概增长了多少？

[XHQC]

@Linsongrong 256的模型我没有，故没有测试，512的模型我测试的结果是15~20分钟 50W数据，基于GCN-V，由于配置原因不稳定，

[Linsongrong]

精度变化大吗？ 发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用 发件人: BOD<mailto:[email protected]> 发送时间: 2020年9月29日 11:04 收件人: yl-1993/learn-to-cluster<mailto:[email protected]> 抄送: Linsongrong<mailto:[email protected]>; Mention<mailto:[email protected]> 主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60) @Linsongrong<https://github.com/Linsongrong> 256的模型我没有，故没有测试，512的模型我测试的结果是15~20分钟 50W数据，基于GCN-V，由于配置原因不稳定， ― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQIG5ODKLOWO7QRMN7LTSIFFC3ANCNFSM4PKGIX5Q>.

[XHQC]

@Linsongrong 精度应该是有优势的比256模型，我的测试结果显示。 我想做5000W数据的聚类，你有没有进行过分批聚类呢，通过怎样的方式进行？

[Linsongrong]

有的，我尝试过两种方法，一种是把数据分成几部分，对每一部分数据进行全量聚类，然后再对它们的结果聚一次；第二种是先聚第一部分的结果，然后把第一部分的结果和第二部分进行聚类。在我的尝试中，第二种比第一种表现会好些，当然你可以去尝试比较两种方法，或者有更好的方法也可以分享，一起讨论。另外结果表现好坏与数据划分成反比。 发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用 发件人: BOD<mailto:[email protected]> 发送时间: 2020年9月29日 11:09 收件人: yl-1993/learn-to-cluster<mailto:[email protected]> 抄送: Linsongrong<mailto:[email protected]>; Mention<mailto:[email protected]> 主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60) @Linsongrong<https://github.com/Linsongrong> 精度应该是有优势的比256模型，我的测试结果显示。 我想做5000W数据的聚类，你有没有进行过分批聚类呢，通过怎样的方式进行？ ― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQIGFN6TLWHFJ3CP37B3SIFFX7ANCNFSM4PKGIX5Q>.

[XHQC]

@Linsongrong 对于分批聚类再聚类你是怎样选择再聚类数据呢，是通过选择最大置信度顶点再聚类嘛，或者是？

[Linsongrong]

我选择的是类中心，当然你也可以选择置信度最大的一个或几个，我没有做过比较。或许你可以尝试一下。 发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用 发件人: BOD<mailto:[email protected]> 发送时间: 2020年9月29日 11:27 收件人: yl-1993/learn-to-cluster<mailto:[email protected]> 抄送: Linsongrong<mailto:[email protected]>; Mention<mailto:[email protected]> 主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60) @Linsongrong<https://github.com/Linsongrong> 对于分批聚类再聚类你是怎样选择再聚类数据呢，是通过选择最大置信度顶点再聚类嘛，或者是？ ― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQIBZZQJZL3OWAXEYSJ3SIFH3XANCNFSM4PKGIX5Q>.

[XHQC]

@Linsongrong 类中心的计算方式，你是通过类均值中心值或者最近的点来选取的吧？ 而置信度顶点是模型推导出的点，可以试试是否可以获取更好的类中心，最优类中心的定义我认为是正脸清晰的照片，通过计算方法得来的类中心可能会造成偏离最优类中心，这个问题貌似不好避免，由类内数据分布不均造成

[zhangwhao]

@yl-1993 @Linsongrong @XHQC 感谢大家的真知灼见。我在使用自有数据集微调训练gcn-v的过程中发现train loss忽上忽下（可能跟我选用adam优化器有关），基本最后都会过拟合（train loss较低，但test loss超级高），而且test loss最小的模型，评估出来的指标很低啊，感觉loss失去了指导模型训练的作用。那么该怎么选择模型呢？难道每次迭代的模型都保存评估一遍？我试了下，发现在测试集指标FP能达到87%，但是其loss不是最低也不是最高，看不出规律。

[Linsongrong]

@XHQC 你好，方便给个邮箱地址吗，我训练上有些问题想向你请教一下。

[changgongcheng]

@Linsongrong 256的模型我没有，故没有测试，512的模型我测试的结果是15~20分钟 50W数据，基于GCN-V，由于配置原因不稳定，

有512的模型么，可否共享一下，我用来测试一下聚类效果，我的特征是512维