Pojmovnik | LLM Machines

AI i modeli.

Sloj modela: što se izvršava, kako prezentira tekst i vokabular ugađanja oko toga.

LLM: Large Language Model. Neuronska mreža trenirana na ogromnim korpusima teksta da predviđa sljedeći token u nizu. Današnji chat asistenti su LLM-ovi s instrukcijskim ugađanjem i sigurnosnim slojevima povrh.
Open-weight model: Model čiji su trenirani parametri javno objavljeni, pa se može preuzeti, auditirati, fine-tunirati i pokretati lokalno. Primjeri: Llama, Mistral, Qwen, DeepSeek. Suprotno proprietary modelima dostupnima samo kroz vendor API.
Token tokenizacija: Atomska jedinica koju jezični model čita i piše. Jedan token je otprilike ¾ engleske riječi. Tokenizacija je predprocesni korak koji dijeli tekst u te jedinice.
Context window: Maksimalan broj tokena koje model može razmatrati istovremeno pri generiranju odgovora. Veći context window omogućuje rezoniranje nad duljim dokumentima, ali povećava memorijske i latencijske troškove.
Inferencija inference: Pokretanje treniranog modela da proizvede izlaz, za razliku od treniranja, koje uopće proizvodi model. On-prem inferencija znači da se model izvršava na vašem hardveru.
Fine-tuning: Prilagodba pre-treniranog modela specifičnim zadacima ili jeziku domene nastavkom treninga na manjem, ciljanom skupu podataka. Različito od prompt engineeringa, koji oblikuje ulaz, a ne težine.
LoRA / QLoRA: Low-Rank Adaptation. Parametarski efikasna metoda fine-tuninga koja trenira mali skup dodatnih težina umjesto ažuriranja cijelog modela i tako drastično smanjuje kompjut i pohranu. QLoRA dodaje kvantizaciju za dodatne uštede.
Quantization kvantizacija: Smanjenje numeričke preciznosti težina modela (npr. s 16-bit na 4-bit) radi smanjenja veličine modela i ubrzanja inferencije, obično uz mali kompromis na točnosti.
Hallucination halucinacija: Kada model generira izlaz koji zvuči uvjerljivo, ali je činjenično netočan. Produkcijski sustavi zato trebaju jasne provjere, ljudski nadzor i evaluacije.
Temperature: Parametar uzorkovanja koji kontrolira nasumičnost u izlazu modela. Nula proizvodi determinističke, fokusirane odgovore; više vrijednosti proizvode kreativniji ili raznolikiji izlaz.
Llama · Mistral · Qwen · DeepSeek: Glavne familije open-weight LLM-ova od Mete, Mistral AI, Alibabe i DeepSeeka. Četiri koje većina poduzeća prva evaluira pri planiranju lokalne inferencije.

Arhitektura i infrastruktura.

Kako je AI sustav sastavljen, posluživan i omeđen, od razine appliance-a do pojedinačnih protokola.

On-prem on-premise: Softver ili hardver koji se izvršava u infrastrukturi organizacije, umjesto u javnom oblaku treće strane. Arhitektonska suprotnost SaaS-a.
Appliance: Pre-integrirana hardversko-softverska jedinica isporučena kao jedan proizvod. Mrežni firewalli, storage arrays i naša AI platforma primjeri su appliance-a; klijent ne sastavlja komponente.
Upravljana inference jezgra: Primarna podržana granica usluge za izvršavanje odobrenih lokalnih modela. LLM Machines konfigurira i održava posluživanje modela, API gateway i policy kontrole, operativni Console, observability sloj te alate za lifecycle i oporavak unutar infrastrukture Klijenta.
API gateway: Usluga između Applications i lokalnih AI modela koja provodi autentikaciju, model policy, rate limiting, usmjeravanje i operativne metapodatke kroz dokumentirani /api/app-gateway/v1 API.
Endpoint: Specifični URL na kojem se API može pozvati. Dokumentirani endpointi za Applications su /api/app-gateway/v1/models i /api/app-gateway/v1/chat/completions, pa se postojeće aplikacije mogu povezati bez promjene svojih workflows.
Aplikacija Klijenta: Vaša odabrana AI aplikacija ili harness povezan s upravljanom inference jezgrom kroz zasebnu vjerodajnicu i dokumentirani Application API. Vi birate i upravljate sučeljem i workflowom, a LLM Machines pruža lokalni inference ugovor.
Model alias: Stabilno ime modela koje Application koristi neovisno o konkretnoj verziji ili inference backendu. Operator može promijeniti mapiranje bez izmjene klijentske aplikacije.
Granica podrške T1 / T2: Upravljana inference jezgra primarna je podržana usluga. Aplikacije Klijenta, njihovi podaci, dozvole i workflowi ostaju izvan standardnog Producta i povezuju se kroz dokumentirani API ugovor. Opcionalno integracijsko savjetovanje ugovara se zasebno.
Emergency Isolation Mode: Operativna kontrola koja zaustavlja Application inferenciju na sloju Product edge, dok Console, identitet, Activity & Audit, hardverski nadzor, backup i recovery ostaju dostupni.
Manifest enforcement: Potpisana deklaracija što je svaka komponenta, kojoj razini pripada i koje privilegije može zatražiti. Appliance odbija učitati bilo što što nije na manifestu.
Core Appliance: Podržana implementacija u prostorima Klijenta: Product edge, upravljana inference jezgra, operativni Console, identitet, observability te lifecycle i recovery kontrole unutar infrastrukture Klijenta.
Agent agentic workflow: Obrazac na razini aplikacije u kojem AI sustav planira, odlučuje i poziva alate kako bi dovršio zadatak u više koraka. Nije uključen u standardni Product niti ga LLM Machines pruža kao first-party aplikacijsku površinu.
Source-available izvorni kod Producta koji je razvio LLM Machines: Izvorni kod Producta koji je razvio LLM Machines, licenciran pod neizmijenjenom licencom PolyForm Internal Use License 1.0.0 za internu poslovnu uporabu i interne izmjene Klijenta. Ta licenca ne dopušta distribuciju, podlicenciranje ni prijenos. Softver trećih strana ostaje pod svojim postojećim upstream licencama.
Tool-call transport: Prijenos strukturiranih tool-call poruka kroz Chat Completions API. Aplikacije Klijenta i posebno ugovorene napredne integracije mogu upotrijebiti te poruke za nastavak workflowa koji koristi alate.
Chat Completions: Dokumentirani API protokol koji vaše omiljene aplikacije i harnessi koriste za pristup odobrenim lokalnim modelima. Podržava streaming i non-streaming inferenciju kroz /api/app-gateway/v1/chat/completions; dostupni modeli popisuju se kroz /api/app-gateway/v1/models.
Self-hosted websearch: Lokalno upravljan plugin koji se prema potrebi izlaže autoriziranim Applications. Njegov pristup, vjerodajnice i mrežna pravila kontroliraju se unutar appliance-a.
Observability sloj: Lokalni sloj za metrike, upozorenja i nadzor zdravlja hardvera, modela i servisa. Ne pohranjuje sadržaj promptova ili odgovora.
Potpisani offline update: Ručno uvezen update bundle čiji se potpis provjerava prije instalacije. Proces uključuje pre-flight, snapshot, provjeru zdravlja, zapis povijesti i rollback bez call-homea.

Privatnost, sigurnost i identitet.

Koncepti koji odlučuju gdje podaci žive, tko im može pristupiti i koji dokaz postoji da ništa nije izašlo.

PII: Personally Identifiable Information. Podaci koji mogu identificirati pojedinca, poput imena, email adrese, OIB-a ili, u nekim slučajevima, IP adrese.
Pseudonimizacija vs anonimizacija: Pseudonimizacija zamjenjuje identifikatore reverzibilnim tokenima; ostaje osobni podatak prema GDPR-u. Anonimizacija ireverzibilno uklanja identifikatore i rezultat više nije osobni podatak. Većina "anonimizacije" u industriji zapravo je pseudonimizacija.
Data residency: Zahtjev da podaci fizički borave na određenoj geografskoj lokaciji. Često se zamjenjuje sa suverenošću: residency govori o tome gdje se bajtovi nalaze, a suverenost o tome koji ih pravni režim regulira.
Data sovereignty suverenost podataka: Načelo da podaci ostaju podložni primjenjivoj jurisdikciji, pravima pristupa i operativnim kontrolama. Fizička lokacija je važna, ali sama po sebi ne uklanja rizik pristupa stranih vlasti.
Sovereign AI suverena AI: AI sustavi gdje model, infrastruktura na kojoj se izvršava i podaci koji teku kroz njega ostaju pod jurisdikcijskom i operativnom kontrolom korisnika. Proizvodna kategorija koju LLM Machines prodaje.
Air-gapped: Implementacija bez mrežne veze s vanjskim sustavima. Air-gapped AI radi isključivo na internim podacima, a ažuriranja stižu preko prijenosnih medija. Koristi se u obrani, obavještajnom radu i kritičnoj infrastrukturi.
Zero-trust arhitektura: Sigurnosni model koji provjerava svaki zahtjev kao da dolazi iz nepovjerljive mreže, bez obzira na podrijetlo. Maksima: nikad ne vjeruj, uvijek provjeravaj.
RBAC: Role-Based Access Control. Dopuštenja se dodjeljuju ulogama (npr. "inženjer", "admin"); korisnici nasljeđuju dopuštenja svojih uloga. Standardni enterprise model autorizacije.
SSO: Single Sign-On. Korisnik se autenticira jednom kod centralnog identity providera i pristupa mnogim aplikacijama bez ponovnog unosa vjerodajnica.
SAML · OIDC: SAML je XML-bazirani SSO protokol koji poduzeća tipično koriste s naslijeđenim identity providerima. OIDC (OpenID Connect) je moderni JSON-bazirani ekvivalent izgrađen na OAuth 2.0; preferirano za nove aplikacije.
Identity federation: Odnos povjerenja između sustava koji omogućuje da korisnik autenticiran od strane jednog sustava bude prepoznat od drugog, bez dijeljenja lozinki. Mehanizam iza SSO-a.
mTLS: Mutual TLS. Standardni TLS dokazuje identitet servera klijentu; mTLS dodatno dokazuje identitet klijenta serveru, koristeći certifikate s obje strane. Uobičajeno između pouzdanih internih usluga.
Activity & Audit: Primarna Console površina za administrativne događaje i Application usage metapodatke. Ne uključuje promptove, odgovore, tool argumente, rezultate ni request/response bodyje.
Operativni metapodaci: Podaci usluge koji se koriste za upravljanje i podršku appliance-a, poput vremenskih oznaka, identifikatora aplikacija, model aliasa, broja tokena, latencije, statusa, signala kapaciteta i administrativnih događaja. Sadržaj workloada, poput promptova, odgovora modela, argumenata i rezultata alata te request/response bodyja, drži se izvan tog skupa metapodataka.

Regulativa i compliance.

EU okvir koji sve više oblikuje koje su AI arhitekture prihvatljive, plus globalni standardi koje enterprise kupci prvo provjeravaju.

EU AI Act: Regulativa Europske unije koja klasificira AI sustave prema riziku i nameće obveze razvijateljima i deployerima, posebno za visokorizične primjene. Na snazi od 2024. s faznom provedbom kroz 2026.–2027. Prvi sveobuhvatan horizontalan AI zakon u bilo kojoj velikoj jurisdikciji.
GDPR: General Data Protection Regulation. Sveobuhvatan EU zakon o zaštiti podataka, na snazi od 2018. Uspostavlja prava ispitanika i obveze voditelja obrade i izvršitelja obrade; kazne mogu doseći 4% globalnog godišnjeg prometa.
NIS2: Network and Information Security Directive 2. EU okvir za cybersigurnost za bitne i važne subjekte. Dodaje odgovornost na razini uprave i zahtjeve sigurnosti opskrbnog lanca. Mora se transponirati u nacionalno pravo svake države članice.
EU Data Act: Regulativa o usklađenim pravilima za pristup i korištenje podataka, na snazi od 2024. Cilja cloud lock-in nalažući prava prenosivosti i prebacivanja za cloud usluge.
Schrems II: Odluka Suda EU iz 2020. koja je poništila EU-US Privacy Shield. Transatlantski prijenosi zahtijevaju valjan mehanizam prijenosa i, kada je potrebno, dodatne zaštitne mjere prema konkretnom kontekstu obrade.
DPA: Data Processing Agreement. Ugovor između voditelja obrade i izvršitelja obrade naložen člankom 28. GDPR-a. Napomena: DPA također znači Data Protection Authority, nacionalni regulator (u Hrvatskoj: AZOP). Kontekst određuje značenje.
DPIA: Data Protection Impact Assessment. Procjena rizika koju GDPR nalaže prije implementacije sustava koji obrađuju osobne podatke u velikom obujmu ili s povišenim rizikom.
Voditelj obrade · Izvršitelj obrade: Prema GDPR-u, voditelj obrade odlučuje zašto i kako se obrađuju osobni podaci; izvršitelj obrade postupa prema uputama voditelja. AI vendori su obično izvršitelji; njihovi enterprise klijenti su obično voditelji.
Pravo na zaborav: Pravo iz GDPR-a (članak 17.) koje omogućuje ispitanicima da zatraže brisanje svojih osobnih podataka pod određenim uvjetima. Stvara prave inženjerske izazove za AI sustave trenirane na osobnim podacima.
SOC 2: Service Organization Control 2. Američki audit okvir fokusiran na pet načela povjerenja: sigurnost, dostupnost, integritet obrade, povjerljivost i privatnost. Uobičajeni B2B SaaS compliance baseline.
ISO 27001: Međunarodni standard za sustave upravljanja informacijskom sigurnošću. Certifikacija se često traži u enterprise i javnoj nabavi, ovisno o kupcu i opsegu.

Operacije i implementacija.

Vokabular dovođenja AI appliance-a od discovery-ja do žive usluge i pouzdanih Day-2 operacija.

Discovery: Početna faza enterprise implementacije, gdje mapiramo workload, modele, API klijente, hardver, mrežnu topologiju, identity providera i operativna očekivanja. Pokreće odluke o sizingu i konfiguraciji.
Sizing: Izračun hardverskog otiska (broj GPU-ova, RAM, pohrana) potrebnog da se zadovolje vaši ciljevi performansi i konkurentnosti.
Pre-flight check: Validacija da su svi preduvjeti, uključujući mrežu, identitet, pohranu i napajanje, na mjestu prije isporuke appliance-a.
Smoke test: Brzi end-to-end test koji potvrđuje da svježe instalirani sustav obavlja osnovne funkcije ispravno. To je usmjerena provjera koja rano otkriva neispravne implementacije.
Self-test: Ugrađena dijagnostika koju appliance pokreće pri podizanju radi provjere zdravlja hardvera i integriteta softvera.
Pre-shipment: Sve što se događa prije nego što hardver napusti našu integracijsku ustanovu: priprema imagea, sastavljanje potpisanog manifesta izdanja i priprema recovery materijala.
API handoff: Završna točka standardnog onboardinga, kada se Klijentu predaju validirani Models i Chat Completions endpointi, vjerodajnice aplikacija, popisi dopuštenih modela, operativna dokumentacija i rezultati prihvata za korištenje u odabranim aplikacijama.
Sesija podrške: Izričito odobren, vremenski ograničen pristupni prozor za dijagnostiku ili rješavanje dogovorenog problema. Opseg, odobrenja, zapisivanje i opoziv slijede potpisane uvjete podrške i kontrole pristupa Klijenta.
Savjetovanje usmjereno na ishod: Zaseban angažman organiziran oko definiranog poslovnog ili integracijskog ishoda, ograničene isporuke, mjerljivih kriterija prihvata i dokumentirane primopredaje. Klijent nakon primopredaje odabire i upravlja prihvaćenom aplikacijom, alatima i workflowom.
Application vjerodajnica: Zasebni statički ključ ili OAuth client credential kojim se Application autenticira prema API-ju. Može se rotirati ili opozvati bez utjecaja na druge Applications.
Maintenance entitlement: Lokalno provjerljiv dokaz prava na buduća vendor izdanja i podršku koji ne zahtijeva call-home. Njegov istek ne zaustavlja postojeću inferenciju, Console, backup ili recovery i ne poništava već isporučena prava na izvorni kod.
SLA: Service-Level Agreement. Ugovorna obveza za specifične ciljeve dostupnosti, vremena odgovora ili performansi.
Backup & recovery: Provjereni proces sigurnosne kopije i povrata konfiguracije, identiteta, produktnih metapodataka i operativnog stanja appliance-a.
Zero content retention: Pravilo prema kojem LLM Machines-managed komponente ne zadržavaju promptove, odgovore, tool argumente, rezultate ili request/response bodyje. Ništa ne napušta vašu infrastrukturu.
Vendor lock-in: Ovisnost o platformi jednog dobavljača tako da prebacivanje postaje pretjerano skupo ili tehnički neizvedivo. EU Data Act izričito cilja cloud lock-in.
Pilot proof of concept: Vremenski i opsegom omeđena implementacija radi validacije appliance-a na vašim stvarnim radnim opterećenjima prije obvezivanja na potpuni rollout.

Pojmovnik.

AI i modeli.

Arhitektura i infrastruktura.

Privatnost, sigurnost i identitet.

Regulativa i compliance.

Operacije i implementacija.

Želite ovo u vašem stacku?