NOXGLE / PROJECTSllama.
Konteneryzowany serwer llama.cpp z CUDA i API zgodnym z OpenAI.
Lokalna inferencjaDocker / CUDA / llama.cpp / Shell
Repozytorium opisuje wdrożenie llama.cpp w Dockerze z CUDA, konfiguracjami modeli i API zgodnym z OpenAI.
Problem
Lokalny model potrzebuje powtarzalnego środowiska GPU i interfejsu, z którego mogą korzystać inne narzędzia.
Zastosowanie
Własny endpoint inferencji dla klientów obsługujących API zgodne z OpenAI.
Uproszczony schemat na podstawie dokumentacji- API client
- Docker / llama.cpp
- CUDA / GPU + model
Wymagania GPU i pamięci zależą od modelu. Opisy wyników w README są deklaracjami autora, nie benchmarkiem hubu.
Źródło: README projektu ↗ · Sprawdzono 2026-11-16
DockerCUDAllama.cppShellVERIFIED
Architektura
Docker Compose uruchamia serwer llama.cpp. Konfiguracje modeli i skrypty operacyjne są utrzymywane w repozytorium.
Funkcje
- Konteneryzowany serwer llama.cpp z CUDA i API zgodnym z OpenAI.
Wymagania
Sprawdź zależności i wymagania w źródle przed instalacją.
Instalacja
Skorzystaj z aktualnej instrukcji w dokumentacji źródłowej. Nie uruchamialiśmy tego projektu podczas audytu.
Licencja: MIT · Aktualizacja: 2026-11-06 · Weryfikacja: 2026-11-16
→ Jak czytać architekturę wdrożenia llama