Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

请问是否支持Qwen1.5系列模型（不同量化方式 / 非量化） #2

Open
tomFoxxxx opened this issue Mar 13, 2024 · 6 comments
Open

请问是否支持Qwen1.5系列模型（不同量化方式 / 非量化） #2

tomFoxxxx opened this issue Mar 13, 2024 · 6 comments

Comments

@tomFoxxxx
Copy link

No description provided.

@lzh1998-jansen
Copy link

这个应该看 vllm是支持，vllm 支持，这个仓库就支持

@tomFoxxxx
Copy link
Author

这个应该看 vllm是支持，vllm 支持，这个仓库就支持

好的 您这边有尝试嘛

@tomFoxxxx
Copy link
Author

这个应该看 vllm是支持，vllm 支持，这个仓库就支持

官方文档提到vllm 0.3.0以上是支持的

@nlp-learner
Copy link

热插拔的lora加载如何实现，我看VLLM在加载lora时会有词表大小限制？

@lzh1998-jansen
Copy link

这个应该看 vllm是支持，vllm 支持，这个仓库就支持

官方文档提到vllm 0.3.0以上是支持的

ok的

@smalldeer1982
Copy link

我切换到qwen1.5之后，提示报错了，自己改了下，发现推理能力变差了，大神是否可以做一个适配的版本谢谢

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
4 participants
@smalldeer1982 @tomFoxxxx @nlp-learner @lzh1998-jansen