N_ NOXGLE.
NOXGLE / PROJECTS

llama.

Konteneryzowany serwer llama.cpp z CUDA i API zgodnym z OpenAI.

Lokalna inferencjaDocker / CUDA / llama.cpp / Shell

llama ↗

Repozytorium opisuje wdrożenie llama.cpp w Dockerze z CUDA, konfiguracjami modeli i API zgodnym z OpenAI.

Problem

Lokalny model potrzebuje powtarzalnego środowiska GPU i interfejsu, z którego mogą korzystać inne narzędzia.

Zastosowanie

Własny endpoint inferencji dla klientów obsługujących API zgodne z OpenAI.

Uproszczony schemat na podstawie dokumentacji
  1. API client
  2. Docker / llama.cpp
  3. CUDA / GPU + model

Wymagania GPU i pamięci zależą od modelu. Opisy wyników w README są deklaracjami autora, nie benchmarkiem hubu.

Źródło: README projektu ↗ · Sprawdzono 2026-11-16

DockerCUDAllama.cppShellVERIFIED

Architektura

Docker Compose uruchamia serwer llama.cpp. Konfiguracje modeli i skrypty operacyjne są utrzymywane w repozytorium.

Funkcje

  • Konteneryzowany serwer llama.cpp z CUDA i API zgodnym z OpenAI.

Wymagania

Sprawdź zależności i wymagania w źródle przed instalacją.

Instalacja

Skorzystaj z aktualnej instrukcji w dokumentacji źródłowej. Nie uruchamialiśmy tego projektu podczas audytu.

Licencja: MIT · Aktualizacja: 2026-11-06 · Weryfikacja: 2026-11-16

→ Jak czytać architekturę wdrożenia llama