Brethof AI 评测

LocalAI(自托管,Docker)评测

拥有属于自己的AI服务器,内置模型库

非赞助内容Models与AI基础设施

在Linux上经过测试 · 免费 · 开源

LocalAI是一款可在您的硬件上运行开放模型的免费服务器,提供OpenAI、Anthropic和Ollama API。我们在Linux上测试了其CUDA 12 Docker镜像,在RTX 4060 Ti上运行Qwen3.5 9B。

优点

  • 我们的模型就在展示区中。 我们的模型确实在展示区里,但主要的“安装”按钮会选择一个更快的变体。我们的模型在Base版本一行,需要多点击一次。
  • 整个模型都在GPU上运行。使用CUDA镜像时,整个模型都加载到了GPU上,上下文为8,192个标记,且未改动任何设置。其首次速度读数包含了加载时间。
  • 无需账户,MIT。它直接打开首页,无需登录。其代码中未发现任何遥测。它采用MIT许可,没有付费计划。

不足之处

  • 体积庞大,面向运维人员。首先下载两个大文件:先是3.74吉字节的镜像,再是从一个可变标签下载的1.92吉字节后端,未经签名,下载过程中100%速度下静默两分钟。五十页的内容实在不少。
  • 整个PDF,无引用。聊天功能会将PDF的全部文本直接粘贴到你的消息中,不进行检索也不提供引用,并拒绝扫描版PDF。该功能已存在数周。真正的检索需要Agents和嵌入模型。

我们的结论

有条件推荐

MIT:无需账户、无遥测,其图库中的我们的模型完全在GPU上运行。但它无需密钥即监听所有网络,还会通过可变标签悄悄安装未经签名的后端。面向运维人员。

已审核:LocalAI(自托管,Docker)v4.11.0(CUDA 12镜像)· 事实核查日期:2026-10-22

在以下平台观看YouTube

不确定哪种工具适合你的环境? 技术建议:花钱之前先来问问我们。描述你的情况,我们将在两个工作日内书面答复。

问我们 →

← 所有评测

产品上市时再听吧

最新作品、真实评测,还有偶尔的深度分析。无垃圾信息,一键即可取消订阅。

我们打造的一切