Model językowy na Twoim laptopie, nie w cudzej chmurze
Najczęstsze pytanie w nadleśnictwie nie brzmi „czy to działa”, tylko „gdzie trafią moje pisma”. Odpowiedź w wariancie lokalnym: nigdzie. Model, baza wiedzy i logi zostają na dysku maszyny, na której to uruchomisz.
Model lokalny
Bielik 11B (język polski) i Whisper Large-v3 Turbo (transkrypcja) uruchamiane przez MLX na Apple Silicon.
Bez ruchu wychodzącego
Dwa sidecary na localhost: transkrypcja i RAG. Nic nie woła zewnętrznego API — da się to podejrzeć tcpdumpem.
Ślad każdego kroku
Audit log w JSONL: run_id, step_id, czas w milisekundach, zrzut ekranu przy krokach na cudzym interfejsie.
Co dokładnie stoi na maszynie
Aplikacja BORIX rozmawia z dwoma osobnymi procesami po HTTP na localhoście. Każdy da się wyłączyć niezależnie — jak wyłączysz, moduł po prostu przestaje być dostępny, a nic nie „przełącza się awaryjnie na chmurę”.
| Proces | Port | Co robi |
|---|---|---|
| voicedoc-local | 1000 | Nagranie z terenu → transkrypcja Whisperem → strukturyzowany PDF do skrzynki nadleśnictwa (moduł VoiceDoc). |
| llm-rag | 1100 | Model językowy + wyszukiwanie w bazie wektorowej nad korpusem przepisów i dokumentów wewnętrznych. |
Dlaczego model nie wymyśla paragrafów
Dwie rzeczy naraz. Pierwsza: model odpowiada wyłącznie z fragmentów wyszukanych w korpusie — jeśli fragmentu nie ma, mówi to wprost zamiast zgadywać. Druga: temperatura ustawiona na 0.001 i top_p 0.1, czyli model dobiera słowa niemal deterministycznie. To ustawienie „cytuj”, nie „opowiadaj”.
Baza wiedzy Biblii Leśniczego siedzi w Postgresie z rozszerzeniem pgvector (wyszukiwanie po podobieństwie), a lokalny sidecar używa chromadb zapisanego w pliku SQLite w katalogu data/chroma/. W obu wariantach korpus jest zamknięty: ustawa o lasach, ZHL, IUL cz. I i II, IOL, IPPOŻ, IBHP, wytyczne ZUL, zarządzenia DGLP, KPA.
Co działa offline, a co nie — bez zaokrąglania
W pełni offline, bez żadnego modelu
Generator pism KPA, dokumenty zgodności AI Act, decyzje administracyjne (wyłączenie z produkcji leśnej, szkoda łowiecka, szkoda bobrowa). To szablony tekstowe z podstawianiem danych — nie ma tam modelu językowego, więc nie ma czego halucynować.
Offline na modelu lokalnym
Transkrypcja raportów terenowych i generowanie z nich PDF-a, generator prezentacji w szablonie LP, automat kancelaryjny. Wymaga maszyny z Apple Silicon i odpowiednią ilością pamięci — model 11B nie zmieści się na dowolnym laptopie.
Wymaga zewnętrznego API
Klasyfikator JRWA woła model przez OpenRouter. Jeśli nie chcesz wysyłać treści na zewnątrz — nie włączaj tego modułu; klucz ustawia się osobno per administrator jednostki i jest szyfrowany w bazie. Zanim cokolwiek wyśle, warto przepuścić tekst przez anonimizację.
Czego ta strona nie obiecuje
- Model lokalny nie jest mądrzejszy od dużych modeli w chmurze — jest bliżej. To inna cecha niż jakość.
- Wariant offline wymaga konkretnego sprzętu i kilkudziesięciu minut wstępnego wczytania korpusu.
- Żaden z asystentów nie zastępuje radcy prawnego ani decyzji nadleśniczego — przy sprawach wymagających rozstrzygnięcia odsyła do człowieka.