Brethof AI 評論

LocalAI(自架主機,Docker)評測

您自己的 AI 伺服器,內建模型圖庫

非贊助內容Models 與 AI 基礎設施

在 Linux 上測試過 · 免費 · 開源

LocalAI 是一款免費伺服器,可在您的硬體上執行開放模型,並提供 OpenAI、Anthropic 與 Ollama API。我們在 Linux 上以 CUDA 12 Docker 映像執行,並在 RTX 4060 Ti 上執行 Qwen 3.5 9B。

優點

  • 我們的模型就在模型圖庫裡。 我們使用的模型確實在圖庫中,但主要的「安裝」按鈕會挑選速度較快的變體。我們要的是 Base 建置那一列,得多點一下。
  • 整個模型都在 GPU 上。 使用 CUDA 映像時,整個模型都載入 GPU,內容長度為 8,196 個權杖(8,192 token),且未更動任何設定。它最初的速度讀數把載入時間也計算了進去。
  • 不用帳號,MIT。 它直接開啟到首頁,無需登入。程式碼中未發現任何遙測。它採用 MIT 授權,沒有付費方案。

缺點

  • 體積龐大,專為運維人員設計。 首先是兩個大下載:一個 3.74 GB 的映像,接著是一個 1.92 GB 的後端,來自會變動的標籤、未經簽署,以 100% 全速靜默執行了兩分鐘。五十頁的說明實在不少。
  • 整份 PDF,無引用來源。 聊天功能會將 PDF 的全文整段貼進訊息中,沒有擷取(retrieval)機制,也不提供引用來源,且拒絕掃描版 PDF。它已推出數週。真正的擷取功能需要 Agents 與嵌入模型。

我們的評價

建議採用,但需注意相關限制

MIT:不用帳號、沒有遙測,我們從其模型圖庫挑選的模型完整跑在 GPU 上。但它在沒有金鑰的情況下監聽所有網路介面,還會從會變動的標籤默默安裝未經簽署的後端。專為運維人員設計。

已評測:LocalAI(自行架設,Docker)v4.11.0(CUDA 12 映像)· 事實核對日期:2026-10-22

觀看平台:YouTube

不確定哪款工具適合您的環境? 技術諮詢:花錢之前先問我們。描述您的情況,我們將在兩個工作日內以書面形式回覆。

問我們 →

← 所有評測

商品出貨時再聽吧

新作品發布、真實的測試數據,以及偶爾的深入分析。沒有垃圾郵件,可一鍵取消訂閱。

我們所打造的一切