本地人工智能框架LocalAI

什么是 LocalAI。

LocalAI。本地推理中使用的，与。 OpenAI API。规范兼容。 REST API。。它允许您在当地使用消费级硬件。 LLM。（不仅如此），支持与。 ggml。多模型系列格式兼容。不需要。 GPU。。

最吸引老苏的有两点，一是不需要。 GPU。，另一方面，消费级硬件࿰可以使用c;所以准备试试，至于后续用什么󿀌到时候再说。

官方提供了很多例子，机器人࿰比较常见c;例如：Discord bot。、。Slack bot。或者。 Telegram bot。

安装。

在群晖上以 Docker 方式安装。

镜像下载。

没有官方。 docker hub。发布镜像󿀌但是已经发布了。 quay.io。

用。 SSH。客户端登录群辉后，依次执行下列命令。

这个版本是。 cpu。版本，如果你有。 gpu。，可下载支持。 cuda。版本；

# 新建文件夹 localai 和 子目录。mkdir。-p。/volume1//docker/localai/models。# 进入 localai 目录。cd。/volume1//docker/localai。# 拉取镜像。docker。pull quay.io/go-skynet/local-ai:latest。

镜像文件相对较大（大约。 13G。），如果不能拉，#xff00c;也可以试试。 docker。代理网站：https://dockerproxy.com/，但是会有更多的步骤。

# 如果拉不动，加个代理。docker。pull quay.dockerproxy.com/go-skynet/local-ai:latest。# 重命名镜像（如果是通过代理下载）docker。tag quay.dockerproxy.com/go-skynet/local-ai:latest quay.io/go-skynet/local-ai:latest。# 删除代理镜像（如果是通过代理下载）docker。rmi quay.dockerproxy.com/go-skynet/local-ai:latest。

下载后，可以在。 映像。中找到。

docker-compose 安装。

保存以下内容。 docker-compose.yml。文件。

version。:。'3.6'services。:。api。:。image。:。quay.io/go。-。skynet/local。-。ai。:。latest。    container_name。:。localai。    ports。:。-。8668。:。8080。volumes。:。-。./models。:。/models。:。cached。    environment。:。-。MODELS_PATH=/models。    command。:。[。"/usr/bin/local-ai"]。

然后执行以下命令。

# 将 docker-compose.yml 将其放入当前目录中。# 一键启动。docker-compose。up。 -d。

从日志可以看到，和。 Serge。同样，需要。 AVX2。指令兼容。 CPU。

模型文件。

假如你运行过。 Serge。，原来下载的。 gpt4all.bin。可直接使用文件，因为。 LocalAI。与。 llama.cpp。支持模型兼容。

否则，需要自己下模型文件。

老苏把。 gpt4all.bin。阿里云盘࿱文件a; https://www.aliyundrive.com/s/GQQs39ipya。

Open LLM。在基准测试中表现最好的模型列表列表：https://huggingface.co/spaces/HugingFaceH4/open_llm_leaderboard。

请记住，与。 LocalAI。必须使用兼容模型。 ggml。量化格式。

老苏目前只测试过。 gpt4all.bin。，因此，我们不能提供指导意见，不要问我下面的哪个模型。

当然，LocalAI。࿰支持多模型文件c;您可以根据需要下载多个模型文件。

关于模型的󿀌可以看到官方文档：https://localai.io/models/。

运行。

若您直接在浏览器中输入。 http:///群辉IP:8668。，会返回。 404。错误。

{ "error":{ "code":404,"message":"Cannot GET /","type":""}}。

因为。 LocalAI。提供的是。 REST API。接口，而不是网页。所以有。 2。测试验证我们安装的服务是否成功，一种是使用。 API。调试工具󿀌另外一种是使用命令行。

API 工具。

有很多这样的工具󿀌例如： Postman。、。Apifox。、。ApiPost。等等，具体用什么关系不大，因为主要功能基本相同，老苏目前是用的。 Apifox。

1. 打开应用程序，创建新的请求。
2. 在请求的。 URL。输入字段：http://192.168.0.197:8668/v1/completions。
3. 设置请求的方法是。 POST。
4. 在请求头部 (。Headers。) 添加一个新的头部，键为。 Content-Type。，值为。 application/json。
5. 在请求体 (。Body。) 选择部分。 raw。选项，并将下面的。 JSON。将数据复制粘贴到请求体中：

{ 。:。{ 。"prompt_tokens":。0,"completion_tokens":。0,"total_tokens":。0

}。

}。 小结。虽然老苏使用的相同模型文件，但感觉上。 LocalAI。比。 Serge。快点󿼌当然也可能是因为。

618。

内存升级的原因。
参考文档。

go-skynet/LocalAI: 🤖 Self-hosted, community-driven, local OpenAI-compatible API. Drop-in replacement for OpenAI running LLMs on consumer-grade hardware. Free Open Source OpenAI alternative. No GPU required. LocalAI is an API to run ggml compatible models: llama, gpt4all, rwkv, whisper, vicuna, koala, gpt4all-j, cerebras, falcon, dolly, starcoder, and many other。
地址：https://github.com/go-skynet/LocalAI。

地址：https://github.com/go-skynet/LocalAI。
LocalAI :: LocalAI documentation。