ArtGPT-4 的安装、启动和训练方法

本文介绍了 ArtGPT-4 的安装、启动和训练方法，包括准备代码和环境、预训练 Vicuna 权重、准备预训练 ArtGPT-4 检查点、本地启动演示和使用 Laion-aesthetic 数据集进行训练等。同时，还感谢 MiniGPT-4 模型的改进和 Lavis 的代码。

Git 克隆我们的存储库，创建一个 python 环境并通过以下命令激活它

git clone https://github.com/DLYuanGod/ArtGPT-4.gitcd ArtGPT-4conda env create -f environment.ymlconda activate artgpt4

2.准备预训练的Vicuna权重

当前版本的 MiniGPT-4 建立在 Vicuna-13B 的 v0 版本之上。请参考我们的说明来准备 Vicuna 砝码。最终权重将位于类似于以下结构的单个文件夹中：

vicuna_weights
├── config.json
├── generation_config.json
├── pytorch_model.bin.index.json
├── pytorch_model-00001-of-00003.bin
...

然后，在第 16 行的模型配置文件中设置 vicuna 权重的路径。

3.准备预训练好的ArtGPT-4检查点Downlad

然后，在第 11 行的 eval_configs/minigpt4_eval.yaml 中的评估配置文件中设置预训练检查点的路径。

在本地启动演示

通过运行在本地计算机上试用我们的演示 demo.py

python demo.py --cfg-path eval_configs/artgpt4_eval.yaml  --gpu-id 0

Training

ArtGPT-4 的训练包含两个对齐阶段。该步骤的训练过程与MiniGPT-4一致。

Datasets 
数据集我们使用来自 LAION-5B 数据集的 Laion-aesthetic，前 302 个 tar 文件的大小约为 200GB。

Acknowledgement

• MiniGPT-4 我们的工作基于对模型的改进。

License

这个存储库在 BSD 3-Clause 许可下。许多代码都基于 Lavis 和 BSD 3-Clause License here。