部署时间:2024年5月10日
环境
-
Windows11
-
RTX4060
-
miniconda
-
VSCode
下载开源 LLM:ChatGLM3
下载代码,通过VSCode打开ChatGLM3
文件夹,作为工作目录
下载模型,大概十几G,记录下保存的目录,形如X:\xxx\xxx\xxx\chatglm3-6b
另一篇参考流程
安装miniconda
官网
将会在虚拟环境中配置所需的Python环境
安装CUDA
-
首先通过命令
nvidia-smi
查看显卡支持的CUDA最高版本 -
然后在pytorch官网查看你想安装的pytorch版本对应的CUDA版本
-
官网安装CUDA ,根据我的环境与任务,我选择的是CUDA12.1
随便百度一篇可以参考
配置python环境
- 关于pytorch版本与安装命令,请严格按照官网的来
- 参考 https://pytorch.org/get-started/locally/
- 参考 https://pytorch.org/get-started/previous-versions/#linux-and-windows-6
- 在WINDOWS下如果安装pytorch2.3,后续运行模型时可能会报警告(1Torch was not compiled with flash attention.),当然,似乎不影响使用;于是选择pytorch2.1.2,不会报警告,当然,暂时没发现性能或其它方面(与会报警告的2.3.0比较)有什么优势。 ——谨此说明
conda create -n GPT python=3.11 -y
activate GPT
activate GPT
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
然后,将VSCode的Python解释器选成GPT环境中的解释器。
接下来,所有操作在VScode中直接新建终端,就默认是在虚拟环境GPT
中的终端,在这个终端运行命令
pip install -r requirements.txt
安装完成后,就可以运行 ChatGLM3\中的各种应用demo做测试,其中,代码中的MODEL_PATH
都要修改为LLM的模型保存目录,例如,可以这样改 MODEL_PATH=X:\\xxx\\xxx\\xxx\\chatglm3-6b
关于代码怎么写怎么用,查阅源代码提供的各个文档,或者上官网