21 lines
858 B
Markdown
21 lines
858 B
Markdown
# 🌐 AI Translator (Llama.cpp Backend)
|
|
|
|
Aplikacja GUI napisana w **PyQt6**, umożliwiająca tłumaczenie tekstu przy użyciu lokalnie hostowanego modelu językowego AI. Komunikacja z backendem odbywa się przez HTTP REST API (port `8081`), co zapewnia asynchroniczne przetwarzanie i brak blokowania interfejsu podczas generowania.
|
|
|
|
## 🛠️ Wymagania
|
|
- Python 3.9+
|
|
- Zainstalowany [llama.cpp](https://github.com/ggerganov/llama.cpp) (komponent `llama-server`)
|
|
- Plik `requirements.txt`
|
|
|
|
Plik translate_start.sh wkrywamy np ~/app/translate_start i używamy skrótu
|
|
|
|
## 🚀 Uruchomienie backendu (llama-server)
|
|
Aby aplikacja działała poprawnie, najpierw uruchom serwer AI:
|
|
```bash
|
|
llama-server -m /mnt/nvme_data/LLamaModels/gpt-oss-20b-Q4_K_M.gguf \
|
|
-c 60000 \
|
|
--port 8081 \
|
|
--host 0.0.0.0 \
|
|
--chat-template-kwargs '{"reasoning_effort":"low"}'
|
|
|