How to train a EViT-LVViT-S

[Fanghaipeng]

我想训练一下EViT-LVViT-S，请问具体怎么实现？
1.关于token蒸馏，只蒸馏最后留下的token，还是蒸馏全部的token呢？
2.关于fuse token，需要蒸馏吗？

[youweiliang]

你好，对于EViT-LVViT-S

1. 只需蒸馏最后留下的token
2. fuse token不需要蒸馏

我这周会上传EViT-LVViT的代码。谢谢！

[andyoung009]

你好，对您的工作非常感兴趣。
我想请教下，关于EViT-LVViT-S的训练与微调：
1、训练与微调时图片像素不一样，那么patches数量也不一样，那预训练模型如何用高像素图片微调呢？是采用了token fusion的策略吗？
2、看有其他文章中也提到了低像素图像训练，高像素图像微调，这种处理方式一般采用什么方法去弥补patches数量不一致的gap呢？
谢谢！