训练好的深度学习模型是怎么部署的？

十分钟部署清华ChatGLM-6B，实测效果还可以~~（Linux版）

引言

前段时间，清华公布了中英双语对话模型 ChatGLM-6B ，具有60亿的参数，初具问答和对话功能。最！最！最重要的是它能够支持私有化部署，大部分实验室的服务器基本上都能跑起来。 因为条件特殊，实验室网络不通，那么如何进行离线部署呢？ 经过一上午的折腾终于搞定了，总结了这么一个部署文档供大家讨论学习（ 其实，比在线部署还快哟~ ）。除去下载模型以及依赖包的时间， 部署十分钟搞定 ！！让我们冲~~

说在前面

本着授人以鱼不如授人以渔的想法，比较详细的介绍了chatglm-6B相关依赖资源的获取方式； 「如果怕麻烦，也可以直接拉到文章最后直接获取chatglm-6B所有相关依赖资源」 。

「部署环境」 ：CUDA Version 11.0，机器内存32G以上或者机器8G内存+8G显卡内存。

那么，正式开始吧~~

安装Miniconda，

1.1 获取安装包

「方法一」 直接拉到文章最后（获取方式放在最后）。

「方法二」 因为Miniconda自带python，所以要在官网下载python版本为3.10的Miniconda版本。下载地址为： https:// docs.conda.io/en/latest /miniconda.html#linux-installers ，具体截图如下。（如果不想自己麻烦，我也已经把它放到云盘里面了）。

1.2 安装 Miniconda

将Miniconda下载安装包放到你要放的目录，这里我放在：/home/work/miniconda 中，然后执行sh Miniconda3-latest-Linux-x86_64.sh 如下图所示：

执行完之后按照提示进行回车（enter）就好了，注意：最后选择“yes”，这样每次启动，它都会自动给你切换到conda的base环境中。

1.3 创建虚拟机环境

miniconda支持创建多个虚拟环境，用来支撑不同版本（python）版本的代码，这里就为chatglm-6b创建一个单独的python虚拟机环境，名字叫：chatglm，后面会在该环境中安装跑chatglm-6b模型的所有依赖。下面是命令及截图：

conda create -n chatglm --clone base  （注：因为是离线安装这里选择clone的方式创建，直接创建会报错）
conda env list （获取环境列表）
conda activate chatglm （切换chatglm环境）