ChatRWKV（有可用猫娘模型！）微调/部署/使用/训练资源合集
RWKV基础原理
综合
- windows 训练，推理，断点训练，微调 web可视化懒人包 https:// github.com/1694439208/R WKV-ToolKit
部署
- 文字教程： PENG Bo：开源1.5/3/7B中文小说模型：显存3G就能跑7B模型，几行代码即可调用
- 文字教程： https:// zhuanlan.zhihu.com/p/62 3648932
- 新模型： https:// zhuanlan.zhihu.com/p/61 8011122
- 视频教程（懒人包）（小白也能懂）【【国产唯一真开源AI语言模型】【本地猫娘】chatrwkv懒人包喂饭型教程-哔哩哔哩】 https:// b23.tv/RzCLPpm
- 视频教程（Windows版）： ChatRWKV本地部署教程_哔哩哔哩_bilibili
- 懒人包（命令行）： 漂浮的金链子：ChatRWKV懒人版python包
- 懒人包（GUI）： 修计算机的网管：ChatRWKV桌面版懒人包
- 懒人包（基于网页的GUI）： 饥饿的孩子：chatRWKV将作者的demo网页在本地调用。
- 角色扮演（含猫娘）懒人包（基于网页的GUI）： https:// github.com/shengxia/RWK V_Role_Playing
- 懒人包（GUI，支持多种模型，附带开箱即用多种任务）： GitHub - l15y/wenda: 闻达：一个大型语言模型调用平台。目前支持chatGLM-6B、chatRWKV、chatYuan和chatGLM-6B模型下的chatPDF（自建知识库查找）
- 1.5G显存部署14B模型： https:// zhuanlan.zhihu.com/p/61 6986651
-
使用
- 在线免费使用14B英文模型： ChatRWKV - a Hugging Face Space by BlinkDL
- 在线免费使用7B中英网文模型： ModelScope 魔搭
- 调参经验（对本地部署也适用） 光曙：《“光曙”编写的RWKV写小说炼丹心得》2023-03-23版本
微调
- 文本教程： M40显卡通过lora微调国产开源模型RWKV
- autoDL平台上的3B中英网文Lora镜像（QQ123321324）：
创建镜像的实例显卡为RTX3090
1、进入train目录，执行初始化文件夹命令：
cd train
bash init.sh
执行完后会自动在/root/autodl-tmp/目录下创建工作文件夹，包括data、jsonl、lora_checkpoints、model、txt这5个文件夹。文件夹作用如下：txt文件夹直接放入TXT格式小说，小说可以放入多本，TXT编码要UTF-8，/train/gpt-neox-RWKV/tools目录下有windows使用的”批量-编码转换工具.exe“，可以下载到本地电脑批量把文件夹内的小说转换成UTF-8格式，然后上传到txt文件夹。jsonl文件夹用于存放txt文件转换后的临时文件。data文件夹用于存放gpt-neox-RWKV预处理之后的数据集。lora_checkpoints用于存放RWKV-LM-LoRA训练后的lora模型。model用于上传底模，RTX3090显卡只能用RWKV-4-Pile-3B-Chn-testNovel-done-ctx2048-20230312.pth这个模型。
2、运行bash
init.sh后，把所有要训练LORA的TXT文件上传完后，执行以下命令转换txt文件：
cd gpt-neox-RWKV
conda activate pre-t
python txt2jsonl.py
bash pre.sh
执行完后，会在/root/autodl-tmp/jsonl和/root/autodl-tmp/data生成文件。
3、上传模型到/root/autodl-tmp/model，目前最新是3B中文小说RWKV-4-Pile-3B-Chn-testNovel-done-ctx2048-20230312.pth，上传完成后，执行：
cd /root/train/RWKV-LM-LoRA/RWKV-v4neo
conda activate train
bash start_train.sh
以上txt2jsonl.py、pre.sh、start_train.sh文件可根据实际修改参数
训练
- docker训练（win/linux） https:// zhuanlan.zhihu.com/p/61 5273006