Recenze Brethof AI

LocalAI (self-hosted, Docker) recenze

Váš vlastní AI server s vestavěnou galerií modelů

Není sponzorovánoModels a AI infrastruktura

Otestováno na Linuxu · Bezplatné · Open source

LocalAI je bezplatný server, který spouští otevřené modely na vašem hardwaru a nabízí API OpenAI, Anthropic a Ollama. Vyzkoušeli jsme jeho obraz CUDA 12 Docker na Linuxu s Qwen3.5 9B na kartě RTX 4060 Ti.

To dobré

  • Náš model v galerii. Náš přesný model je v galerii, ale hlavní tlačítko Instalovat vybere rychlejší variantu. Ten náš je v řadě Base build – je potřeba kliknout ještě jednou.
  • Celý model na GPU. S obrazem CUDA se celý model vešel na GPU, kontext 8 192 tokenů, bez jakýchkoli úprav nastavení. První údaj o rychlosti zahrnuje i načítání.
  • Žádný účet, MIT. Otevře se hned na domovskou stránku, bez přihlášení. Ve svém kódu nemá žádnou telemetrii. Je licencován jako MIT, žádné placené plány.

Není to tak dobré

  • Velké, stavěné pro provozovatele. Nejdřív přijdou dvě velká stahování: obraz o velikosti 3,74 gigabajtu a poté backend o velikosti 1,92 gigabajtu z pohyblivého tagu, nepodepsaný, dvě minuty tiše na 100 procentech. Padesát stránek je hodně.
  • Celé PDF, bez citací. Chat vloží do zprávy celý text PDF, bez vyhledávání či citací, a skenovaná PDF odmítá. Je to jen několik týdnů starý stav. Skutečné vyhledávání vyžaduje Agents a embeddings model.

Náš verdikt

Doporučeno s výhradami

MIT – bez účtu, bez telemetrie a náš přesný model z jeho galerie běžel plně na GPU. Ale naslouchá na každé síti bez klíče a potichu instaluje nepodepsaný backend z pohyblivého tagu. Stavěné pro provozovatele.

Recenze: LocalAI (samostatně hostovaný, Docker) v4.11.0 (obraz CUDA 12) · ověřeno 2026-10-22

Sledujte naYouTube

Nevíte, který nástroj se hodí pro váš setup? Technická rada: zeptejte se nás, než své peníze utratíte. Popište svou situaci a do dvou pracovních dnů obdržíte naši písemnou odpověď.

Zeptejte se nás →

← Všechny recenze

Uslyšíte to, až to vyjde

Nové verze, skutečné benchmarky a občasný hlubší ponor. Žádný spam, odhlášení jedním kliknutím.

Vše, co vytváříme