Brethof AI Rezensionen

LocalAI (selbst gehostet, Docker) Test

Ihr eigener KI-Server mit integrierter Modellgalerie

Nicht gesponsertModels & KI-Infrastruktur

Getestet unter Linux · Kostenlos · Open Source

LocalAI ist ein kostenloser Server, der offene Modelle auf Ihrer Hardware ausführt, mit OpenAI-, Anthropic- und Ollama-APIs. Wir haben sein CUDA-12-Docker-Image unter Linux mit Qwen3.5 9B auf einer RTX 4060 Ti ausgeführt.

Das Gute

  • Unser Modell, in der Galerie. Unser genaues Modell befindet sich in seiner Galerie, doch die Haupt-Installierungs-Schaltfläche wählt eine schnellere Variante aus. Unsres ist die Basisversion – ein weiterer Klick nötig.
  • Ganzes Modell auf der GPU. Mit dem CUDA-Bild wurde das gesamte Modell auf die GPU verlagert, es stand ein Kontext von 8.192 Token zur Verfügung, und keine Settings wurden geändert. Die erste Geschwindigkeitsmessung berücksichtigt die Ladezeit.
  • Kein Konto, MIT. Es öffnet sich direkt auf seine Startseite, ohne Anmelden. In seinem Code wurde keine Telemetrie gefunden. Es ist mit einer MIT-Lizenz ausgestattet, es gibt keine kostenpflichtigen Pläne.

Nicht so gut

  • Groß – entwickelt für Betreiber. Zuerst kommen zwei große Downloads: ein Bild mit 3,74 Gigabyte sowie ein Backend mit 1,92 Gigabyte; beides ist unsigniert und arbeitet zwei Minuten lang zu 100 Prozent ohne Geräusche. Fünfzig Seiten sind eine Menge.
  • Ganzer PDF, ohne Citations. Die Chat-Funktion fügt den gesamten Text eines PDFs in Ihre Nachricht ein, ohne Suchfunktionen oder Citations, und lehnt gescannte PDFs ab. Sie existiert bereits seit Wochen. Für eine echte Suche sind Agents sowie ein Embedding-Modell erforderlich.

Unser Urteil

Empfohlen mit Vorbehalten

MIT: Kein Konto, keine Telemetrie – und unser genaues Modell aus der Galerie lief vollständig auf der GPU. Doch es lauscht in jedem Netzwerk ohne Schlüssel und installiert stumm ein unsigniertes Backend von einem sich bewegenden Tag. Für Betreiber gebaut.

Überprüft: LocalAI (selbst gehostet, Docker) v4.11.0 (CUDA-12-Image) · Fakten geprüft am 2026-10-22

LocalAI besuchen →
Ansehen aufYouTube

Sind Sie unsicher, welches Tool zu Ihrem Setup passt? Technischer Rat: Fragen Sie uns, bevor Sie Ihr Geld ausgeben. Schildern Sie Ihre Situation und erhalten Sie unsere Antwort innerhalb von zwei Werktagen schriftlich.

Fragen Sie uns →

← Alle Rezensionen

Bleiben Sie auf dem Laufenden

Hören Sie es, wenn es erscheint

Neue Versionen, echte Benchmarks und gelegentlich ein Deep-Dive. Kein Spam, Abmeldung mit einem Klick.

Das Brethof-Netzwerk

Alles, was wir bauen

Voice Pro

Diktat, Transkription und Übersetzung – auf Ihrem eigenen Gerät. Einmal kaufen.

brethof-brain

Gedächtnis für Ihre KI-Agenten — Einträge, Regeln, die vollständige Historie und der Entscheidungsgraph, bereits vorhanden, wenn eine Sitzung startet. Es antwortet, bevor Sie fragen.

Technischer Rat

Sagen Sie uns, was Sie benötigen. Unsere schriftliche Antwort innerhalb von zwei Werktagen.

Nova

Unser YouTube-Kanal. Ein Cyber-Tiger-Moderator führt durch lokale KI-Tools und erklärt, was sie tatsächlich tun.

Rezensionen

Kurze Video-Rezensionen von Software- und KI-Tools: in Aktion vor der Kamera gezeigt, mit einem Urteil, das niemand kaufen kann.

Awesome Lists

Ausgewählte GitHub-Listen für KI-Code-Agenten, MCP-Server, lokale KI-Lösungen und Linux für KI. Jeder Eintrag enthält einen Quelllink.