Llama2 text-generation-webui智能聊天机器人中文版本地安装教程

AI画师大阳

智能聊天机器人可能很多人都用过，比如ChatGPT和谷歌Bard等，这两个是比较优秀的智能聊天机器人，但是由于网络等原因，我们使用起来比较麻烦，前段时间Meta开源了Llama2，我们可以在本地自己部署智能聊天程序无限使用了，下面讲一下Meta Llama2 text-generation-webui本地电脑安装部署和云端部署教程，由于Llama2原版模型对中文不是太友好，我们使用FlagAlpha优化的中文模型Llama2-Chinese，github项目地址： https:// github.com/FlagAlpha/Ll ama2-Chinese

本地电脑部署

首先打开text-generation-webui项目地址： https:// github.com/oobabooga/te xt-generation-webui ，作者提供了一键安装快捷方式，支持Windows、Linux、macOS系统，这里以Windows系统NVIDIA显卡为例，先下载oobabooga-windows.zip文件到本地电脑，

解压缩文件，双击运行start_windows.bat文件，系统将自动下载并安装text-generation-webui程序，

开始时会让你选择GPU，输入A然后回车继续安装，如果你是AMD显卡就输入D，如果你是其它系统则需要下载适用于其它系统的一键安装程序，

如果你中间遇到错误无法自动完成安装可能就是你的网络连接问题，可开启全局科学上网解决，成功安装完成后会输出一个访问地址： http:// 127.0.0.1:7860/ ，

这时候还是无法使用，你需要先去下载模型文件，官方原版模型也支持中文提问，但是回答结果是英文，尽管你要求用中文回答，它也可能会掺杂一些英文信息，对于中文用户来说不是太友好，这里我们用Llama2-Chinese中文模型，回答结果是中文的，而且作者也针对中文进行了微调，

如果你的显卡显存在12G以下则下载7b版本，12G以上可以尝试使用13b版本，我将两个版本上传到了百度网盘，网盘链接： https:// pan.baidu.com/s/1_vUAu3 gptXXkWHxAR5MZig?pwd=1alc
提取码：1alc

如果你想体验官方版的话，以下是Llama2中文社区分享的迅雷云盘下载链接：

Llama2-7B官网版本： https:// pan.xunlei.com/s/VN_kR2 fwuJdG1F3CoF33rwpIA1?pwd=z9kf
Llama2-7B-Chat官网版本： https:// pan.xunlei.com/s/VN_kQa 1_HBvV-X9QVI6jV2kOA1?pwd=xmra
Llama2-13B官网版本： https:// pan.xunlei.com/s/VN_izi baMDoptluWodzJw4cRA1?pwd=2qqb
Llama2-13B-Chat官网版本： https:// pan.xunlei.com/s/VN_iyy ponyapjIDLXJCNfqy7A1?pwd=t3xw
Llama2-7B Hugging Face版本： https:// pan.xunlei.com/s/VN_t0d UikZqOwt-5DZWHuMvqA1?pwd=66ep
Llama2-7B-Chat Hugging Face版本： https:// pan.xunlei.com/s/VN_oaV 4BpKFgKLto4KgOhBcaA1?pwd=ufir
Llama2-13B Hugging Face版本： https:// pan.xunlei.com/s/VN_yT_ 9G8xNOz0SDWQ7Mb_GZA1?pwd=yvgf
Llama2-13B-Chat Hugging Face版本： https:// pan.xunlei.com/s/VN_yA- 9G34NGL9B79b3OQZZGA1?pwd=xqrg
Llama2-70B-Chat Hugging Face版本： https:// pan.xunlei.com/s/VNa_vC GzCy3h3N7oeFXs2W1hA1?pwd=uhxh#

将Llama2-Chinese-7b-Chat.7z压缩文件下载到本地放入models文件夹内，解压文件，然后在浏览器地址栏里打开 http:// 127.0.0.1:7860/ ，点击页面顶部model选项卡，点击model后面刷新按钮，点击下拉列表选择模型，点击load按钮载入模型，如果出现提示memory相关错误就是爆显存了，可勾选load-in-4bit重新点击load按钮，提示“Successfully loaded Llama2-Chinese-7b-Chat”即表示模型导入成功，可点击顶部chat选项卡进行俩天对话。在input里输入提问内容，然后点击generate按钮发送。