模型推理相关问题

[julianadobetter]

背景：我的机器有多张GPU显卡，但是每张GPU显卡显存只有16G，目前运行test.py进行模型推理尝试，提示显存不够。
问题1: 该RadFM模型推理所需的GPU显存需要至少多大？例如 N GB
问题2:如果单张GPU显存没有达到N GB，那是否有其他的方案使得能运行模型推理，例如DeepSpeed？能否给具体的方案说明？

[aTongs1]

背景：我的机器有多张GPU显卡，但是每张GPU显卡显存只有16G，目前运行test.py进行模型推理尝试，提示显存不够。 问题1: 该RadFM模型推理所需的GPU显存需要至少多大？例如 N GB 问题2:如果单张GPU显存没有达到N GB，那是否有其他的方案使得能运行模型推理，例如DeepSpeed？能否给具体的方案说明？

Hello, I'm experiencing the same problem, i.e. the model won't run on more than one GPU, and would like to ask you if you solved it and how to solve it, thanks!