How to load the TransGPT-MM-v0 model?

[qingchunlizhi]

No description provided.

[qingchunlizhi]

I have found that multimodal models cannot be used directly. Can you provide more detailed explanations to reproduce the performence of multimodality

[threeColorFr]

请说出您的具体问题，具体推理参考https://github.com/DUOMO/TransGPT/tree/main/multi_modal

[threeColorFr]

比如终端形式，你可以传参数你的模型路径--from_pretrained your-model-path，比如你的图中就是TransGPT-MM-v0或者TransGPT-MM-v1

[kangxiao18]

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
到这一步时会出错，我将这里改为DUOMO-Lab/TransGPT-MM-v1，也就是在huggingface里下载的TransGPT-MM-v1文件夹，则会报出config.json找不到的问题

[corkiyao]

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) 到这一步时会出错，我将这里改为DUOMO-Lab/TransGPT-MM-v1，也就是在huggingface里下载的TransGPT-MM-v1文件夹，则会报出config.json找不到的问题

你把你的config.json里面的chat模型路径修改成本地就好了。