本地运行的AI聊天助手CatAI

工具软件1年前 (2023)发布 gpts

67 0 0

使用聊天 ui 在计算机上运行 GGUF 模型。

Your own AI assistant runs locally on your computer.
您自己的人工智能助手在您的计算机上本地运行。

受到 Node-Llama-Cpp、Llama.cpp 的启发

安装与使用

确保您已安装 Node.js（当前下载）。

npm install -g catai

catai install vicuna-7b-16k-q4_k_s

catai up

特征

自动检测编程语言
点击用户图标即可显示原始消息
实时文本流
快速模型下载

CLI 命令行界面

Usage: catai [options] [command]
Options:  -V, --version                    output the version number  -h, --help                       display help for command
Commands:  install|i [options] [models...]  Install any GGUF model  models|ls [options]              List all available models  use [model]                      Set model to use  serve|up [options]               Open the chat website  update                           Update server to the latest version  active                           Show active model  remove|rm [options] [models...]  Remove a model  uninstall                        Uninstall server and delete all models  help [command]                   display help for command

安装命令

Usage: cli install|i [options] [models...]
Install any GGUF model
Arguments:  models                Model name/url/path
Options:  -t --tag [tag]        The name of the model in local directory  -l --latest           Install the latest version of a model (may be unstable)  -b --bind [bind]      The model binding method  -bk --bind-key [key]  key/cookie that the binding requires  -h, --help            display help for command

跨平台

您可以在 Windows、Linux 和 Mac 上使用它。

该软件包使用支持以下平台的node-llama-cpp：

darwin-x64
darwin-arm64
linux-x64
linux-arm64
linux-armv7l
linux-ppc64le
win32-x64-msvc

内存使用情况

在大多数现代计算机上运行。除非您的计算机非常旧，否则它应该可以工作。

根据 llama.cpp 讨论线程，以下是内存要求：

7B => ~4 GB
13B => ~8 GB
30B => ~16 GB

很高兴知道

所有下载数据默认下载到 ~/catai 文件夹。
下载是多线程的，因此可能会使用大量带宽，但下载速度会更快！

Web API 网络应用程序接口

您还可以使用一个简单的 API 来询问模型问题。

const response = await fetch('http://127.0.0.1:3000/api/chat/prompt', {    method: 'POST',    body: JSON.stringify({        prompt: 'Write me 100 words story'    }),    headers: {        'Content-Type': 'application/json'    }});
const data = await response.text();