下载部署代码
sudo apt-get update
pip3 install --upgrade pip
#下载Fastchat源代码
git clonehttps://github.com/lm-sys/FastChat.git
#进入到Fastchat目录下安装相关python库
pip3 install -e . -i https://pypi.mirrors.ustc.edu.cn/simple/
使用公网网盘上传模型（推荐使用阿里云盘）
https://www.autodl.com/docs/netdisk/
在实例中配置Python3.9
# 构建一个虚拟环境名为：vicuna ，Python版本为3.9
conda create -n vicuna python=3.9
# 更新bashrc中的环境变量
conda init bash && source /root/.bashrc
# 切换到创建的虚拟环境：vicuna
conda activate vicuna
# 验证
Python3 –-version
模型文件地址
7B 模型大小14GB 需要显存14GB
https://huggingface.co/eachadea/vicuna-7b-1.1/tree/main
13B模型大小28GB 需要显存28GB
https://huggingface.co/eachadea/vicuna-13b-1.1/tree/main
使用8bit参数使显存需求减半 模型质量略有下降
--load-8bit
使用多卡GPU运行参数可合并多卡以提升最大显存
--num-gpus 2
Web GUI 服务启动流程
python3 -m fastchat.serve.controller
python3 -m fastchat.serve.model_worker --model-path/root/autodl-tmp/vicuna-13b-v1.1
python3 -m fastchat.serve.test_message --model-name vicuna-13b
python3 -m fastchat.serve.gradio_web_server
RESTful API Server 服务启动流程
python3 -m fastchat.serve.controller
python3 -m fastchat.serve.model_worker --model-name 'vicuna-13b-v1.1'--model-path /root/autodl-tmp/vicuna-13b-v1.1
python3 -m fastchat.serve.openai_api_server --host 0.0.0.0 --port 6006
使用 screen 将服务运行在后台
sudo apt-get install screen #安装screen
screen -ls #查看所有的screen
screen -S #创建screen
screen -r #进入某个screen
ctrl + a + d #使当前screen置于后台运行
exit #在当前screen内杀掉当前screen
vicuna测试问题
请问可以讲一下科幻小说三体讲了一个什么样的故事？你觉得这个故事说明了什么道理？
请介绍一下常用的数据结构与算法并写一个具有代表性的算法示例
请帮我写一篇关于AI语言大模型现状已经未来趋势的论文不少于800字