为ChatGLM/LLaMA等多种LLM提供了一个好用的基于PDF问答的图形界面

使用说明

安装依赖

在终端中输入下面的命令，然后回车即可。

pip install -r requirements.txt

如果您在使用Windows，建议通过WSL，在Linux上安装。如果您没有安装CUDA，并且不想只用CPU跑大模型，请先安装CUDA。

如果下载慢，建议配置豆瓣源。

本地调用

请使用下面的命令。取决于你的系统，你可能需要用python或者python3命令。请确保你已经安装了Python。

CUDA_VISIBLE_DEVICES=0 python chatpdf.py –gen_model_type baichaun –gen_model baichuan-inc/Baichuan-13B-Chat

启动Web服务

CUDA_VISIBLE_DEVICES=0 python webui.py –gen_model_type llama –gen_model LinkSoul/Chinese-Llama-2-7b-4bit

如果一切顺利，现在，你应该已经可以在浏览器地址栏中输入 http://localhost:7860 查看并使用 ChatPDF 了。

项目代码还很粗糙，如果大家对代码有所改进，欢迎提交回本项目。

Reference

• imClumsyPanda/langchain-ChatGLM