Brethof AI-arvostelut

LocalAI (itse isännöity, Docker) arvostelu

Oma tekoälypalvelimesi sisäänrakennetulla mallikokelmaalla

Ei sponsoroituModels & AI-infrastruktuuri

Testattu Linuxissa · Ilmainen · Avoin lähdekoodi

LocalAI on ilmainen palvelin, joka ajaa avoimia malleja omalla laitteistollasi, OpenAI-, Anthropic- ja Ollama-rajapinnoilla. Ajoiimme sen CUDA 12 Docker -kuvaa Linuxilla, mallilla Qwen3.5 9B RTX 4060 Ti -näytönohjaimella.

Hyvää

  • Mallimme löytyy galleriasta. Täsmälleen sama malli on sen galleriassa, mutta pääasennusnappi valitsee nopeamman version. Meidän mallimme on Base-rakennusta rivissä, yhden napsautuksen päässä.
  • Koko malli GPU:lla. CUDA-kuvan avulla koko malli siirtyi GPU:lle, 8 192 tokenin konteksti, asetuksia muuttamatta. Ensimmäinen nopeuslukema sisältää latauksen.
  • Ei tiliä, MIT. Se avautuu suoraan kotisivulleen ilman kirjautumista. Sen koodista ei löytynyt telemetriaa. Se on MIT-lisensoitu, ei maksullisia suunnitelmia.

Ei niin hyvää

  • Suuri, suunniteltu ylläpitäjille. Ensin tulevat kaksi suurta latausta: 3,74 gigatavun kuva ja sitten 1,92 gigatavun taustaosa liikkuvasta tunnisteesta, allekirjoittamaton, ääneti 100 prosentissa kaksi minuuttia. Viisikymmentä sivua on paljon.
  • Koko PDF ilman lähdeviittauksia. Chat liittää PDF:n koko tekstin viestiisi ilman haku- tai viittaustoimintoa ja kieltäytyy skannatuista PDF:istä. Se on viikkoja vanha. Aito haku vaatii Agents:n ja upotusmallin.

Arviomme

Suositellaan varauksin

MIT: ei tiliä, ei telemetriaa, ja täsmälleen oma mallimme sen galleriasta toimi kokonaan GPU:lla. Mutta se kuuntelee kaikissa verkoissa ilman avainta ja asentaa läpinäkyvästi allekirjoittamattoman taustaosan liikkuvasta tunnisteesta. Suunniteltu ylläpitäjille.

Arvioitu: LocalAI (itse isännöity, Docker) v4.11.0 (CUDA 12 -kuva) · faktat tarkistettu 22.10.2026

Katso täällä:YouTube

Etkö tiedä, mikä työkalu sopii kokoonpanoosi? Teknisiä neuvoo: kysy meiltä ennen kuin käytät rahojasi. Kuvaile tilanteesi ja saat vastauksemme kirjallisesti kahden työpäivän sisällä.

Kysy meiltä →

← Kaikki arvostelut

Kuulet sen, kun se julkaistaan.

Uudet julkaisut, aidot vertailut ja silloin tällöin syväsukellus. Ei roskapostia, peruuta tilaus yhdellä klikkauksella.

Kaikki mitä rakennamme