Merge pull request #1 from Oscilloscope98/mtl-first-migration

MTL first migration with bigdl-llm model worker for native Windows (only LLM on XPU)

configs/model_config.py.example

@@ -9,7 +9,7 @@ MODEL_ROOT_PATH = ""
 EMBEDDING_MODEL = "bge-large-zh-v1.5"
 
 # Embedding 模型运行设备。设为 "auto" 会自动检测(会有警告)，也可手动设定为 "cuda","mps","cpu","xpu" 其中之一。
-EMBEDDING_DEVICE = "auto"
+EMBEDDING_DEVICE = "cpu"
 
 # 选用的reranker模型
 RERANKER_MODEL = "bge-reranker-large"
@@ -26,11 +26,12 @@ EMBEDDING_MODEL_OUTPUT_PATH = "output"
 # 在这里，我们使用目前主流的两个离线模型，其中，chatglm3-6b 为默认加载模型。
 # 如果你的显存不足，可使用 Qwen-1_8B-Chat, 该模型 FP16 仅需 3.8G显存。
 
-LLM_MODELS = ["chatglm3-6b", "zhipu-api", "openai-api"]
+# LLM_MODELS = ["chatglm3-6b", "zhipu-api", "openai-api"]
+LLM_MODELS = ["chatglm3-6b"]
 Agent_MODEL = None
 
 # LLM 模型运行设备。设为"auto"会自动检测(会有警告)，也可手动设定为 "cuda","mps","cpu","xpu" 其中之一。
-LLM_DEVICE = "auto"
+LLM_DEVICE = "xpu"
 
 HISTORY_LEN = 3
 

configs/server_config.py.example

@@ -91,10 +91,10 @@ FSCHAT_MODEL_WORKERS = {
 
     },
     "chatglm3-6b": {
-        "device": "cuda",
+        "device": "xpu",
     },
     "Qwen1.5-0.5B-Chat": {
-        "device": "cuda",
+        "device": "xpu",
     },
     # 以下配置可以不用修改，在model_config中设置启动的模型
     "zhipu-api": {