RAG ili fine-tuning: što odabrati za bazu znanja vaše firme

Pitanje koje dobivamo svakih nekoliko tjedana: “Trebamo AI koji razumije naše dokumente i procese. Trebamo li fine-tunirati model ili koristiti RAG?”

Kratki odgovor: za 90% slučajeva u malim i srednjim hrvatskim tvrtkama, RAG je pravi izbor. Dugi odgovor je zanimljiviji - razumijevanje razlike između ova dva pristupa direktno određuje koliko ćete platiti, koliko ćete čekati, i hoće li cijeli sustav raditi za godinu dana kad se vaši podaci promijene.

Evo praktičnog vodiča.

Što je RAG - bez tehničkog žargona

RAG (Retrieval-Augmented Generation) funkcionira ovako: kad postavite pitanje AI-u, sustav prvo pretražuje vašu bazu dokumenata, pronalazi relevantne dijelove, i šalje ih zajedno s pitanjem AI modelu. Model zatim odgovara koristeći taj kontekst - ne iz memorije, nego iz konkretnih dokumenata koje je upravo vidio.

Analogija: zamislite odvjetnika koji ima stotine presuda u ormaru. Kad klijent postavi pitanje, odvjetnik izvuče 3-4 relevantne presude, pročita ih i odgovori na temelju toga. RAG radi isto - samo bez fizičkog pretraživanja. Ručna pretraga sudske prakse u bazi od 225.000 dokumenata može trajati 3+ sata. Isti upit u RAG sustavu: manje od 5 minuta.

LexBox, pravni AI asistent za odvjetničke urede, radi po ovom principu. Njegova baza sadrži 225.000+ hrvatskih i EU pravnih dokumenata. Kad odvjetnik postavi upit, sustav u sekundama pronalazi relevantne zakone i sudsku praksu te generira odgovor na temelju toga. Model nije “naučio” zakone napamet - on ih svaki put čita iz baze i daje odgovor s referencama.

Ključna prednost RAG-a: bazu možete ažurirati u bilo kojem trenutku. Novi zakon stupi na snagu? Dodate dokument. Nema ponovnog treniranja modela, nema čekanja, nema dodatnih compute troškova.

Ključni nedostatak: RAG je toliko dobar koliko je dobra vaša baza i retrieval logika. Ako dokumenti nisu dobro strukturirani ili baza nije ispravno indeksirana, sustav će pronaći krive odgovore ili nikakve. Implementacija zahtijeva pažnju na kvalitetu podataka - to je posao koji morate odraditi jednom, ali ga morate odraditi dobro.

RAG nije nova tehnologija. Koriste je pretraživači, pravni sustavi, medicinska dokumentacija. Ono što je novo je cijena i dostupnost - prije 3 godine izgradnja RAG pipeline-a zahtijevala je tim od nekoliko developera i tjednima rada. Danas to može biti implementirano za tjedan do dva, uz gotove alate i jasno definiran proces.

Što je fine-tuning - i zašto nije odgovor na sve

Fine-tuning je drugačiji pristup: uzimate postojeći AI model i trenirate ga dodatno na vašim podacima. Model “usvoji” vaš stil pisanja, terminologiju, specifičan format odgovora - to postaje dio njega, ne kontekst koji mu dajete.

Primjer gdje fine-tuning ima smisla: customer support bot koji uvijek odgovara točno u tonu vaše marke, s vašom terminologijom, bez da svaki put dobiva posebne upute. Model je “zapamtio” kako pisati.

Ali postoje dva problema koja se često previde.

Fine-tuning ne rješava faktualnost. Model može naučiti ton i format, ali ne može “znati” što je napisano u dokumentu koji nije vidio za vrijeme treniranja. Ako vaš pravilnik o reklamacijama kaže 14 dana, a trebate da chatbot to točno prenosi klijentima - fine-tuning to ne garantira. RAG to rješava jer svaki put čita aktualni dokument.

Fine-tuning ima rok trajanja. Kad se vaši podaci promijene - novi cjenik, nova politika, promijenili ste organizacijsku strukturu - morate ponovo trenirati model. Svaka runda treniranja košta compute resurse, traje tjednima i zahtijeva pripremu podataka. Firme koje se ne pripreme na taj trošak završe s modelom koji govori zastarjele informacije.

Konkretne situacije: kad koji pristup

Ova dva pristupa nisu isključivi - mogu se kombinirati. Ali za početnu odluku, evo praktičnih smjernica:

Koristite RAG kada:

• Imate dokumente koji se mijenjaju - cjenici, propisi, interna dokumentacija, FAQ
• Trebate da sustav pronalazi specifične informacije i može citirati izvor
• Radite s velikom bazom dokumenata (od nekoliko stotina do stotina tisuća)
• Transparentnost je važna - morate znati odakle dolazi odgovor, posebno u reguliranim industrijama
• Budžet je ograničen i trebate rješenje brzo

Razmotrite fine-tuning kada:

• Trebate model koji uvijek piše u specifičnom stilu ili formatu - automatski, bez posebnih uputa za svaki upit
• Radi se o zadatku koji ne ovisi o ažurnim informacijama: klasifikacija teksta, transformacija formata, ekstrakcija strukturiranih podataka
• Vaš skup podataka za treniranje je stabilan i rijetko se mijenja
• Imate tehničke kapacitete za ponavljano treniranje ili koristite manji open-source model na vlastitom hardveru

Primjer za računovodstveni servis: žele AI koji razumije interne pravilnike i može odgovoriti zaposlenicima na pitanja poput “koji dokumenti su potrebni za prijavu poreza na dohodak od samostalne djelatnosti?” - RAG. Dokumenti se mijenjaju, odgovor mora biti točan i citiran.

Primjer za marketing agenciju: žele AI koji piše opise proizvoda uvijek u glasnom i specifičnom tonu marke, bez da svaki put pišu dugačak prompt o stilu - fine-tuning ili kombinacija s RAG-om za aktualne informacije o proizvodu.

Troškovi i vremenski okvir

Ovaj dio se najčešće preskače u razgovorima o AI strategiji - a upravo ovdje leži razlika između dobre i loše odluke.

RAG implementacija:

Setup uključuje embedding pipeline (pretvaranje vaših dokumenata u format koji AI može pretraživati), vector bazu i retrieval logiku. Jednom postavljeno, ažuriranje baze je jeftino i brzo - ne zahtijeva tehničku intervenciju od vas.

Tekući troškovi su API pozivi za AI model i hosting baze, što za tipičnu SME implementaciju iznosi od nekoliko stotina eura mjesečno. Klapa Workflow paket koji uključuje RAG implementaciju kreće od 2.500 EUR setup-a.

Fine-tuning implementacija:

Treniranje modela zahtijeva značajne compute resurse. Jedna runda fine-tuning-a na manjim open-source modelima (LLaMA, Mistral klase) može koštati od nekoliko tisuća eura samo u compute troškovima, uz pripremu podataka i evaluaciju. Za GPT-4 klase modele - višestruko više.

Svaka promjena podataka zahtijeva ponovnu rundu. Za firme s dinamičnim podacima, godišnji trošak ponavljanog fine-tuning-a može premašiti 20.000 EUR - bez da ste dobili fundamentalno bolji sustav od kvalitetnog RAG-a.

Vremenski okvir:

RAG sustav može biti živ za 2-4 tjedna od početka rada, ovisno o veličini baze i složenosti integracija. Klapa isporučuje prve rezultate unutar 14 dana od potpisa. Fine-tuning projekti rijetko stanu ispod 2-3 mjeseca uključujući pripremu podataka, treniranje, evaluaciju i popravljanje grešaka.

Za firmu koja želi vidjeti poslovni rezultat brzo - RAG je jedini razumni početak.

Decision framework za vašu firmu

Tri pitanja koja vrijedi postaviti sebi:

Je li problem “znanje” ili “stil i format”?

Ako problem je “AI ne zna naše specifičnosti, pravilnike, cjenik, prošlost naših projekata” - to je problem znanja. RAG.

Ako problem je “AI ne piše na naš specifičan način, u našem formatu” - to je problem stila. Fine-tuning ili prompt engineering (koji je puno jeftiniji od fine-tuning-a i vrijedi isprobati prvi).

Koliko se često mijenjaju vaši podaci?

Tjedne promjene ili barem mjesečne promjene? RAG.

Godišnje ili rjeđe, s malom bazom primjera? Fine-tuning potencijalno ima smisla.

Trebate li transparentnost - “odakle dolazi taj odgovor”?

RAG daje citate i reference na konkretne dokumente. Fine-tuning model generira odgovore bez eksplicitnog referenciranja izvora.

Za regulirane industrije - pravo, zdravstvo, financije, javni sektor - transparentnost izvora nije opcija, nego zahtjev. RAG je gotovo uvijek bolji izbor.

Jedno opće pravilo: počnite s RAG-om. Možete ga nadograditi fine-tuning-om ako se pokaže da trebate specifičan stil ili format na vrhu. Suprotni redoslijed je puno skuplji i teži.

Za dublji uvid u to kako AI upravljanje znanjem funkcionira u praksi, pogledajte i post o tome kako koristimo AI za upravljanje znanjem u firmi.

Gdje dalje

Ako razmišljate o AI-u koji razumije vaše dokumente i procese, ali niste sigurni koji pristup odabrati, zakažite besplatni 30-minutni audit. U roku 48 sati dobijete pisani mini-audit s konkretnim prijedlogom za vašu situaciju - uključujući preporuku između RAG-a, fine-tuning-a ili kombinacije.