如何预训练模型呢？

[psp3dcg]

您好，我尝试复现您代码中的预训练过程。按照您论文中appendix C. Design Details & Hyper-parameter Settings的设置来训练模型，但是效果不太好，例如训练cora数据集时，按照pretrain 200 epochs，lr 1e-3; finetune 200 epochs，lr 1e-2的协议，模型输出结果如下所示
预训练
epoch 009 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 019 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 029 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 039 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 049 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 059 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 069 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 079 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 089 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 099 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 109 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 119 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 129 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 139 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 149 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 159 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 169 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 179 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 189 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 199 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84

finetune
epoch 009 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 019 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 029 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 039 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 049 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 059 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 069 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 079 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 089 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 099 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 109 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 119 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 129 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 139 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 149 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 159 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 169 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 179 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 189 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84
epoch 199 ｜ acc:30.24 ｜ nmi:0.00 ｜ ari:0.00 ｜ f1:6.84

预训练和微调基本区别不大，是我哪里还没调试正确吗？谢谢~

[yueliu1999]

您好，感谢关注！从这个结果来看的话应该是预训练的地方没修改对，我们近期会整理一份预训练的代码并开放