RAG a firemná dokumentácia: ako naučiť AI agenta odpovedať z interných dát

Firmy dnes sedia na obrovskom množstve interných dát – smerniciach, manuáloch, zmluvách, technickej dokumentácii, interných wiki stránkach. Problém nie je nedostatok informácií, ale to, že sa v nich nedá rýchlo hľadať. Presne tu prichádza na scénu prístup, ktorý rieši prepojenie AI agenta a firemnej dokumentácie prakticky, nie len teoreticky: RAG (Retrieval-Augmented Generation). V tomto článku vysvetľujeme, ako RAG systém reálne funguje, čo firma potrebuje pripraviť a na aké chyby si dať pozor, keď chce, aby AI agent odpovedal z interných dát presne a spoľahlivo.

Veľké jazykové modely ako GPT alebo Claude sú trénované na verejne dostupných dátach z internetu. O internej smernici o dovolenkách, cenníku produktov alebo technickej špecifikácii vášho systému nevedia nič – a ani vedieť nemôžu, pretože tieto dáta nikdy nevideli. Keď sa ich na to niekto opýta, model si odpoveď „domyslí“ – v odbornom jazyku tomu hovoríme halucinácia. Práve preto je pre nasadenie AI agenta s prístupom k interným dátam nevyhnutný mechanizmus, ktorý modelu v momente otázky doručí relevantný kontext z firemnej dokumentácie namiesto toho, aby sa spoliehal len na to, čo sa „naučil“ počas trénovania.

RAG v skratke znamená, že AI agent pred vygenerovaním odpovede najprv vyhľadá relevantné časti dokumentácie a až potom na základe nich sformuluje odpoveď. Celý proces má tri základné kroky.

1. Spracovanie dokumentácie (chunking)

Dokumenty sa najprv rozdelia na menšie logické celky – odseky, sekcie alebo kapitoly. Toto delenie (tzv. chunking) je kľúčové: príliš veľké kusy textu zahltia model zbytočným kontextom, príliš malé zase strácajú súvislosti. Kvalita tohto kroku výrazne ovplyvňuje, ako presne dokáže AI agent neskôr odpovedať.

2. Vytvorenie znalostnej bázy pomocou embeddingov

Každý kus textu sa prevedie na číselný vektor (embedding), ktorý zachytáva jeho význam. Tieto vektory sa uložia do vektorovej databázy – to je v podstate znalostná báza AI, ku ktorej bude agent pri každej otázke pristupovať. Vďaka tomu vie systém nájsť aj text, ktorý neobsahuje presne rovnaké slová ako otázka používateľa, ale má podobný význam.

3. Vyhľadávanie a generovanie odpovede

Keď používateľ položí otázku, systém ju tiež prevedie na vektor, nájde najrelevantnejšie časti dokumentácie a tie spolu s otázkou pošle jazykovému modelu. Model potom odpoveď formuluje výhradne na základe dodaného kontextu – nie na základe toho, čo si „pamätá“ z trénovania. Výsledkom je odpoveď, ktorá je podložená konkrétnym firemným dokumentom, ideálne aj s odkazom na zdroj.

Druhá cesta, ako naučiť model firemné dáta, je fine-tuning – dodatočné dotrénovanie modelu na vlastných dátach. Pre firemnú dokumentáciu má ale niekoľko praktických nevýhod: dokumentácia sa neustále mení (nové smernice, aktualizované cenníky, zmenené procesy), a model by bolo treba opakovane pretrénovávať. RAG tento problém rieši elegantne – stačí aktualizovať znalostnú bázu, model samotný sa meniť nemusí. Navyše pri RAG viete presne dohľadať, z ktorého dokumentu odpoveď pochádza, čo je pri interných dátach dôležité z hľadiska overiteľnosti a dôvery. Fine-tuning má zmysel skôr pri úprave štýlu alebo správania modelu, nie pri práci s dynamicky sa meniacimi dátami.

Rozdiel v presnosti odpovedí medzi modelom bez prístupu k firemným dátam a modelom, ktorý pracuje s RAG nad relevantnou dokumentáciou, je vo všeobecnosti výrazný – ilustruje to nasledujúci graf založený na bežne pozorovanom princípe, nie na konkrétnom meraní:

Skôr než sa RAG systém dá zmysluplne nasadiť, treba vyriešiť niekoľko praktických krokov:

• Zjednotenie dokumentácie – dáta často ležia roztrúsené v Google Drive, Notion, interných PDF, e-mailoch aj papierových materiáloch. Treba ich zhromaždiť na jedno miesto.
• Kontrola aktuálnosti – zastaraná alebo protichodná dokumentácia povedie k zastaraným alebo nesprávnym odpovediam, bez ohľadu na to, aký kvalitný je samotný model.
• Nastavenie prístupových práv – nie každý zamestnanec by mal mať prístup ku všetkým interným informáciám, preto je potrebné premyslieť, ako sa oprávnenia premietnu aj do odpovedí AI agenta.
• Výber formátu dát – štruktúrované dokumenty (napr. s jasnými nadpismi a sekciami) sa spracúvajú výrazne lepšie ako neusporiadaný text.
• Priebežná aktualizácia znalostnej bázy – proces, ktorým sa nové alebo zmenené dokumenty pravidelne dostávajú do vektorovej databázy.

Toto sú kroky, ktoré majú väčší vplyv na výslednú kvalitu AI agenta než samotný výber jazykového modelu.

Pri nasadzovaní RAG riešení sa opakovane objavujú rovnaké problémy. Prvým je snaha „naliať“ do systému úplne všetky dokumenty naraz bez ohľadu na ich kvalitu a relevanciu – výsledkom je znalostná báza plná šumu, ktorá zhoršuje presnosť namiesto toho, aby ju zlepšovala. Druhou častou chybou je zanedbanie chunkovacej stratégie – zle rozdelený text stráca kontext a AI agent potom odpovedá útržkovito alebo mimo témy. Treťou chybou je absencia mechanizmu na aktualizáciu dát, takže agent po čase odpovedá podľa dokumentácie, ktorá už neplatí. A napokon, firmy často podceňujú testovanie na reálnych otázkach zamestnancov či zákazníkov pred plným nasadením – bez tejto spätnej väzby sa slabé miesta systému odhalia až v ostrej prevádzke, kedy je náprava nákladnejšia.

AI agent postavený na RAG nad firemnou dokumentáciou sa dá nasadiť v rôznych kontextoch – ako interný nástroj pre zamestnancov (napríklad na otázky ohľadom HR procesov, technickej dokumentácie alebo interných postupov), ako súčasť zákazníckej podpory, kde agent odpovedá na základe manuálov a FAQ, alebo ako doplnok CRM systému, kde pomáha obchodnému tímu rýchlo nájsť relevantné informácie o klientovi či produkte. Pri prepájaní s CRM systémami sa navyše RAG často kombinuje s prístupom k štruktúrovaným dátam – ako to funguje v praxi, rozoberáme v článku o integrácii AI agenta do firemného CRM systému. Ak uvažujete o nasadení AI agenta priamo do zákazníckej podpory, užitočný kontext nájdete aj v článku o AI agentovi pre zákaznícku podporu.

Keďže interná dokumentácia často obsahuje aj osobné údaje zamestnancov či klientov, pri návrhu znalostnej bázy treba myslieť aj na súlad s GDPR – najmä na to, aké dáta smie AI agent vidieť, ako dlho sa smú uchovávať vo vektorovej databáze a či sa dá prístup k citlivým informáciám obmedziť podľa role používateľa.

RAG nie je magický prepínač, ktorý firemnú dokumentáciu premení na dokonalého AI asistenta cez noc. Je to architektúra, ktorá stojí a padá na kvalite vstupných dát, premyslenom chunkovaní a priebežnej údržbe znalostnej bázy. Firmy, ktoré tieto základy urobia poriadne, získajú AI agenta, ktorý odpovedá presne, overiteľne a na základe aktuálnych interných informácií – nie na základe dohadov. Ak zvažujete, ako by RAG systém vyzeral vo vašej firme a aké dáta by bolo potrebné pripraviť, najlepším prvým krokom je nezáväzná konzultácia cez kontaktný formulár, kde spoločne prejdeme vašu dokumentáciu a procesy. Viac o tom, ako pristupujeme k vývoju AI riešení, nájdete aj na stránke AI a automatizácia alebo v prehľade našich referencií.

Koncept RAG pôvodne predstavil tím výskumníkov v práci Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, ktorá dodnes slúži ako referenčný základ pre väčšinu dnešných implementácií tejto architektúry.