本文正在参加github.com/Fanstuck/Ch…
2.环境需求
再看依赖文件requirements.txt：
很多人这里就已经开始pip install -r requirements.txt，但是这里需要注意的是torch下载会出问题，而且大概率下载的会是cpu版本。我这里不建议直接pip install，对于有GPU的同学来说肯定下载GPU版本的torch最优，且不清楚自己cuda的版本下很容易下载的torh和cudnn版本不兼容，所以这里单独说一下torch该如何安装合适的版本。
首先先看一下NVIDIA支持最高的cuda版本：
cmd输入nvidia-smi就可以看到：
这里显示我的cuda版本为11.7，下载比这低的版本就好了。
但是这里需要注意cuda版本和torch版本是对应的：
pytorch历史版本下载：
pytorch.org/get-started…，只要低于11.7版本的torch都是可以的。
若是pip下载time out的下载wheel：download.pytorch.org/whl/torch_s…
huggingface.co/THUDM/chatg…
不需要frok直接clone就可以了。版主还提供了不同编译后的版本可供下载，我这边就下载了已经编译后的int4版本，我的内存只有16G且显存128M很低故带不起原生模型。
这样的话文件不需要下载到C盘下面，可以自己选择要下载的目录。
下载完成之后里面提供了两个demo可以测试，需要修改函数AutoTokenizer.from_pretrained中的THUDM/chatglm-6b，也就是pretrained_model_name_or_path更换成你下载chatGLM的目录就可以使用了。
如果你的显存配置有限的话可以选择以量化方式加载模型，比如：
# 按需修改，目前只支持 4/8 bit 量化
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).quantize(4).half().cuda()
模型量化会带来一定的性能损失，经过测试，ChatGLM-6B 在 4-bit 量化下仍然能够进行自然流畅的生成。
量化过程需要在内存中首先加载 FP16 格式的模型，消耗大概 13GB 的内存。如果你的内存不足的话，可以直接加载量化后的模型，仅需大概 5.2GB 的内存：
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True).half().cuda()
模型量化会带来一定的性能损失，经过测试，ChatGLM-6B 在 4-bit 量化下仍然能够进行自然流畅的生成。
量化过程需要在内存中首先加载 FP16 格式的模型，消耗大概 13GB 的内存。如果你的内存不足的话，可以直接加载量化后的模型，仅需大概 5.2GB 的内存：
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True).half().cuda()
我这边直接下载的int4模型不需要再加载整个模型了。
如果你没有 GPU 硬件的话，也可以在 CPU 上进行推理，但是推理速度会更慢。使用方法如下，需要大概 32GB 内存：
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()
模型使用
以我的计算机来说平常内存就有
11G占用了，运行该模型肯定会报OOM，推荐大家把一些暂时不需要的进程杀掉尽可能多的留多点内存再跑模型：
这里推荐在终端上面运行不要用pycharm，内存更多：
使用web_demo.py可以直接在网站上面对话：
我这里直接OOM了没有办法，大家计算机好点就没问题。
