無贊助Models 與 AI 基礎設施
已喺 Linux 上測試 · 免費 · 開源
LocalAI係一個免費伺服器，可以喺你嘅硬體上運行開源模型，並支援OpenAI、Anthropic及Ollama API。我哋喺Linux上以CUDA 12 Docker圖像運行，並喺RTX 4060 Ti上以Qwen3.5 9B測試。
好嘅地方
- 我哋嘅模型喺展示區度。 我哋嘅正式模型係喺展示區，但主頁嘅安裝按鈕會選擇速度更快嘅版本。我哋嘅係基本建構版本，需要多按一次。
- 成個模型喺 GPU 上運行。使用 CUDA 圖像時，整個模型都放到 GPU 上，上下文為 8,192 個token，而且冇改動任何設定。佢最初嘅速度讀數包含載入過程。
- 冇帳戶，MIT。打開後直接進入主頁，無需登入。其代碼中未發現任何遙測功能。佢以MIT授權，冇付費方案。
唔係咁好嘅地方
- 體積龐大，專為操作人員設計。首先會下載兩個大型檔案：一個是3.74吉字節的圖像，另一個則是1.92吉字節、來自移動標籤的後端資料；這些資料均無簽名，且在100％負載狀態下會保持兩分鐘不發出任何聲音。五十頁的量實在太多了。
- 成個PDF，無Citations。呢個Chat功能會將PDF嘅全部文字直接貼入訊息中，唔會進行搜尋或加Citations，而且拒絕接受掃描版PDF。呢個功能已經有幾個星期啦。真正嘅搜尋功能需要Agents同埋嵌入模型。
我哋嘅結論
建議使用，但要注意限制
MIT：冇帳戶、冇遙測，而我哋指定嘅模型喺其圖庫入面可以喺 GPU 上完整運行。但佢會喺每個網絡上監聽而且無需密鑰，仲會從浮動標籤靜靜地安裝未簽名嘅後端程式。專為操作人員而設。
已審核：LocalAI（自行主機，Docker）v4.11.0（CUDA 12圖像）· 資料核對日期：2026-10-22
唔肯定邊個工具啱你嘅環境？ 技術建議：使錢之前問我哋。描述你嘅情況，我哋會喺兩個工作日內以書面回覆。
問我哋 →