LocalAI (자체 호스팅, Docker) 리뷰: 내장 모델 갤러리를 갖춘 나만의 AI 서버

스폰서 없음Models & AI 인프라스트럭처

Linux에서 테스트됨 · 무료 · 오픈소스

LocalAI는 사용자의 하드웨어에서 오픈 모델을 실행하는 무료 서버로, OpenAI, Anthropic, Ollama API를 제공합니다. 저희는 Linux에서 Qwen3.5 9B를 RTX 4060 Ti에서 실행하는 CUDA 12 Docker 이미지를 사용했습니다.

갤러리에 있는 저희 모델. 정확한 모델은 갤러리에 있지만, 메인 설치 버튼은 더 빠른 변형을 선택합니다. 저희 모델은 Base 빌드 행에 있어 한 번 더 클릭해야 합니다.
전체 모델이 GPU에 로드됨. CUDA 이미지를 사용하면 설정을 건드리지 않고도 전체 모델이 8,192 토큰 컨텍스트로 GPU에 통째로 올라갑니다. 처음 측정된 속도 수치에는 로딩 시간이 포함됩니다.
계정이 없습니다, MIT. 로그인 없이 바로 홈페이지로 열립니다. 코드에서 텔레메트리가 발견되지 않았습니다. MIT 라이선스이며 유료 요금제는 없습니다.

운영자를 위해 만들어진 대용량 프로그램. 먼저 3.74기가바이트 크기의 이미지가 다운로드되고, 이동식 태그에서 다운로드되는 서명되지 않은 1.92기가바이트 백엔드가 이어져 2분 동안 100%로 조용히 진행됩니다. 50페이지 분량은 많습니다.
전체 PDF, 출처 표기 없음. 채팅은 검색이나 출처 표기 없이 PDF의 전체 텍스트를 메시지에 그대로 붙여넣으며, 스캔된 PDF는 거부합니다. 이 기능은 몇 주 전의 것입니다. 실제 검색에는 Agents와 임베딩 모델이 필요합니다.

우리의 평가

주의사항과 함께 권장됨

MIT는 계정도 없고 텔레메트리 기능도 없으며, 갤러리에서 저희의 정확한 모델이 GPU에서 완전히 작동합니다. 하지만 키 없이 모든 네트워크에서 수신하며, 이동식 태그로 서명되지 않은 백엔드를 조용히 설치합니다. 운영자를 위한 것입니다.

리뷰 대상: LocalAI (자체 호스팅, Docker) v4.11.0 (CUDA 12 이미지) · 사실 확인일: 2026-10-22

다음에서 시청YouTube

어떤 도구가 내 환경에 맞는지 확실하지 않으신가요? 기술 조언: 구매 전에 저희에게 먼저 문의하세요. 상황을 설명해 주시면 2영업일 이내에 서면으로 답변해 드립니다.

소식을 계속 받아보세요.

신규 출시, 실제 벤치마크, 그리고 가끔은 심층 분석. 스팸 없음, 원클릭 구독 해지.

Brethof 네트워크