参考指引安装docker后，运行cli_demo.py，提示killed

[songqiangchina]

root@b3d1bd08095c:/chatGLM# python3 cli_demo.py
INFO 2023-06-06 21:17:40,876-1d:
loading model config
llm device: cuda
embedding device: cuda
dir: /chatGLM
flagging username: 27903ec3559f49dd9f8fdb1a1c0830e8

INFO 2023-06-06 21:17:42,295-1d: Note: NumExpr detected 12 cores but "NUMEXPR_MAX_THREADS" not set, so enforcing safe limit of 8.
INFO 2023-06-06 21:17:42,295-1d: NumExpr defaulting to 8 threads.
Loading chatglm-6b-int4...
No compiled kernel found.
Compiling kernels : /root/.cache/huggingface/modules/transformers_modules/chatglm-6b-int4/quantization_kernels_parallel.c
Compiling gcc -O3 -fPIC -pthread -fopenmp -std=c99 /root/.cache/huggingface/modules/transformers_modules/chatglm-6b-int4/quantization_kernels_parallel.c -shared -o /root/.cache/huggingface/modules/transformers_modules/chatglm-6b-int4/quantization_kernels_parallel.so
Kernels compiled : /root/.cache/huggingface/modules/transformers_modules/chatglm-6b-int4/quantization_kernels_parallel.so
Load kernel : /root/.cache/huggingface/modules/transformers_modules/chatglm-6b-int4/quantization_kernels_parallel.so
Setting CPU quantization kernel threads to 6
Using quantization cache
Applying quantization to glm layers
Killed

[songqiangchina]

补充信息：
linux: Linux version 5.15.90.1-microsoft-standard-WSL2 (oe-user@oe-host) (x86_64-msft-linux-gcc (GCC) 9.3.0, GNU ld (GNU Binutils) 2.34.0.20200220) #1 SMP Fri Jan 27 02:56:13 UTC 2023
python: Python 3.8.10
langchain-ChatGLM commit id: dc52bb1

[hzg0601]

看报错信息，感觉是你没有GPU或者GPU的cuda版本出了问题，你需要给出的GPU和CUDA版本信息才能判断

[bk007lz]

我也遇到同样的问题了，如何解决？版本如下
2.0.1+cu117
True
True

[hzg0601]

要给出 GPU的cuda版本，不是torch的cuda版本

[balablb]

要给出 GPU的cuda版本，不是torch的cuda版本

你好，我电脑上面的CUDA信息是这样的

但是docker的cuda安装信息是12.1.0，我要怎么做才能把CUDA的版本对应上？现在无法启动

[darkneu]

要给出 GPU的cuda版本，不是torch的cuda版本

你好，我电脑上面的CUDA信息是这样的 但是docker的cuda安装信息是12.1.0，我要怎么做才能把CUDA的版本对应上？现在无法启动

把安装的cuda卸载了，再去搜索相关教程即可，这是我推荐的文章https://blog.csdn.net/weixin_72056722/article/details/126651703?ops_request_misc=&request_id=&biz_id=102&utm_term=Torch%20not%20compiled%20with%20CUDA%20e&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~sobaiduweb~default-1-126651703.142^v88^koosearch_v1,239^v2^insert_chatgpt&spm=1018.2226.3001.4450