Recenzii Brethof AI

LocalAI (self-hosted, Docker) recenzie

Serverul dumneavoastră propriu de IA, cu o galerie de modele integrată

Nu este sponsorizatModels & Infrastructură AI

Testat pe Linux · Gratuit · Sursă deschisă

LocalAI este un server gratuit care rulează modele deschise pe hardware-ul dumneavoastră, cu API-urile OpenAI, Anthropic și Ollama. Am rulat imaginea sa CUDA 12 Docker pe Linux, cu Qwen3.5 9B pe un RTX 4060 Ti.

Cel bun

  • Modelul nostru, în galerie. Modelul nostru exact se află în galeria sa, însă butonul principal „Instalare” selectează o variantă mai rapidă. Al nostru este din categoria „Build de bază“, necesitând un clic în plus.
  • Modelul întreg pe GPU. Cu imaginea CUDA, întregul model a fost transferat pe GPU, cu un context de 8.192 tokeni, fără nicio modificare la Settings. Prima măsurare a vitezei reflectă sarcina de procesare.
  • Nicio cont, MIT. Se deschide direct pe pagina principală, fără necesitate de autentificare. Nu s-a găsit nicio telemetrie în codul său. Este licențiat MIT, fără planuri plătite.

Cel mai puțin bun

  • Mare, conceput pentru operatori. Mai întâi vin două descărcări mari: o imagine de 3,74 gigabiți, apoi un backend de 1,92 gigabiți, fără semnătură, în tăcere, la 100 la sută timp de două minute. Cincizeci de pagini e mult.
  • PDF-ul complet, fără Citations. Chatul copiază întreg textul unui PDF în mesajul dumneavoastră, fără extragere de informații sau Citations, și refuză PDF-urile scanate. Este disponibil de săptămâni. Pentru o extragere reală sunt necesari Agents și un model de embedding.

Verdictul nostru

Recomandat cu rezerve

MIT: fără cont, fără telemetrie, iar modelul nostru exact din galeria sa rulează complet pe GPU. Dar ascultă pe toate rețelele fără nicio cheie și instalează în tăcere un backend nesemnat dintr-o etichetă mobilă. Construit pentru operatori.

Revizuit: LocalAI (auto-găzduit, Docker) v4.11.0 (imagine CUDA 12) · fapte verificate la 2026-10-22

Urmărește-l peYouTube

Nu sunteți siguri care instrument se potrivește cu echipamentul dumneavoastră? Sfat tehnic: întrebați-ne înainte de a cheltui bani. Descrieți situația dumneavoastră și veți primi răspunsul nostru scris în decurs de două zile lucrătoare.

Întreabă-ne →

← Toate recenziile

Auzi-l când apare

Lansări noi, benchmark-uri reale și ocazional o analiză aprofundată. Fără spam, dezabonare cu un singur clic.

Tot ce construim