RAG a firemní dokumentace: jak naučit AI agenta odpovídat z interních dat

Firmy dnes sedí na obrovském množství interních dat – směrnicích, manuálech, smlouvách, technické dokumentaci, interních wiki stránkách. Problém není nedostatek informací, ale to, že se v nich nedá rychle hledat. Přesně tady přichází na scénu přístup, který řeší propojení AI agenta a firemní dokumentace prakticky, ne jen teoreticky: RAG (Retrieval-Augmented Generation). V tomto článku vysvětlujeme, jak RAG systém reálně funguje, co firma potřebuje připravit a na jaké chyby si dát pozor, když chce, aby AI agent odpovídal z interních dat přesně a spolehlivě.

Velké jazykové modely jako GPT nebo Claude jsou trénované na veřejně dostupných datech z internetu. O interní směrnici o dovolené, ceníku produktů nebo technické specifikaci vašeho systému nevědí nic – a ani vědět nemohou, protože tato data nikdy neviděly. Když se jich na to někdo zeptá, model si odpověď „domyslí" – odborně se tomu říká halucinace. Právě proto je pro nasazení AI agenta s přístupem k interním datům nezbytný mechanismus, který modelu ve chvíli dotazu doručí relevantní kontext z firemní dokumentace, místo aby se spoléhal jen na to, co se „naučil" během trénování.

RAG ve zkratce znamená, že AI agent před vygenerováním odpovědi nejprve vyhledá relevantní části dokumentace a až potom na jejich základě odpověď zformuluje. Celý proces má tři základní kroky.

1. Zpracování dokumentace (chunking)

Dokumenty se nejprve rozdělí na menší logické celky – odstavce, sekce nebo kapitoly. Toto dělení (tzv. chunking) je klíčové: příliš velké kusy textu zahltí model zbytečným kontextem, příliš malé zase ztrácejí souvislosti. Kvalita tohoto kroku výrazně ovlivňuje, jak přesně dokáže AI agent později odpovídat.

2. Vytvoření znalostní báze pomocí embeddingů

Každý kus textu se převede na číselný vektor (embedding), který zachycuje jeho význam. Tyto vektory se uloží do vektorové databáze – to je v podstatě znalostní báze AI, ke které bude agent při každém dotazu přistupovat. Díky tomu umí systém najít i text, který neobsahuje přesně stejná slova jako dotaz uživatele, ale má podobný význam.

3. Vyhledávání a generování odpovědi

Když uživatel položí dotaz, systém ho také převede na vektor, najde nejrelevantnější části dokumentace a ty spolu s dotazem pošle jazykovému modelu. Model pak odpověď formuluje výhradně na základě dodaného kontextu – ne na základě toho, co si „pamatuje" z trénování. Výsledkem je odpověď, která je podložená konkrétním firemním dokumentem, ideálně i s odkazem na zdroj.

Druhá cesta, jak naučit model firemní data, je fine-tuning – dodatečné dotrénování modelu na vlastních datech. Pro firemní dokumentaci má ale několik praktických nevýhod: dokumentace se neustále mění (nové směrnice, aktualizované ceníky, změněné procesy), a model by bylo potřeba opakovaně přetrénovávat. RAG tento problém řeší elegantně – stačí aktualizovat znalostní bázi, model samotný se měnit nemusí. Navíc u RAG dokážete přesně dohledat, z jakého dokumentu odpověď pochází, což je u interních dat důležité z hlediska ověřitelnosti a důvěry. Fine-tuning má smysl spíš při úpravě stylu nebo chování modelu, ne při práci s dynamicky se měnícími daty.

Rozdíl v přesnosti odpovědí mezi modelem bez přístupu k firemním datům a modelem, který pracuje s RAG nad relevantní dokumentací, je obecně výrazný – ilustruje to následující graf založený na běžně pozorovaném principu, ne na konkrétním měření:

Než se RAG systém dá smysluplně nasadit, je třeba vyřešit několik praktických kroků:

• Sjednocení dokumentace – data často leží roztroušená v Google Drive, Notionu, interních PDF, e-mailech i papírových materiálech. Je třeba je shromáždit na jedno místo.
• Kontrola aktuálnosti – zastaralá nebo protichůdná dokumentace povede k zastaralým nebo nesprávným odpovědím, bez ohledu na to, jak kvalitní je samotný model.
• Nastavení přístupových práv – ne každý zaměstnanec by měl mít přístup ke všem interním informacím, proto je potřeba promyslet, jak se oprávnění promítnou i do odpovědí AI agenta.
• Výběr formátu dat – strukturované dokumenty (např. s jasnými nadpisy a sekcemi) se zpracovávají výrazně lépe než neuspořádaný text.
• Průběžná aktualizace znalostní báze – proces, kterým se nové nebo změněné dokumenty pravidelně dostávají do vektorové databáze.

Toto jsou kroky, které mají větší vliv na výslednou kvalitu AI agenta než samotný výběr jazykového modelu.

Při nasazování RAG řešení se opakovaně objevují stejné problémy. Prvním je snaha „nalít" do systému úplně všechny dokumenty najednou bez ohledu na jejich kvalitu a relevanci – výsledkem je znalostní báze plná šumu, která zhoršuje přesnost místo toho, aby ji zlepšovala. Druhou častou chybou je zanedbání chunkovací strategie – špatně rozdělený text ztrácí kontext a AI agent pak odpovídá útržkovitě nebo mimo téma. Třetí chybou je absence mechanismu na aktualizaci dat, takže agent po čase odpovídá podle dokumentace, která už neplatí. A nakonec firmy často podceňují testování na reálných dotazech zaměstnanců či zákazníků před plným nasazením – bez této zpětné vazby se slabá místa systému odhalí až v ostrém provozu, kdy je náprava nákladnější.

AI agent postavený na RAG nad firemní dokumentací se dá nasadit v různých kontextech – jako interní nástroj pro zaměstnance (například na dotazy ohledně HR procesů, technické dokumentace nebo interních postupů), jako součást zákaznické podpory, kde agent odpovídá na základě manuálů a FAQ, nebo jako doplněk CRM systému, kde pomáhá obchodnímu týmu rychle najít relevantní informace o klientovi či produktu. Při propojování s CRM systémy se navíc RAG často kombinuje s přístupem ke strukturovaným datům – jak to funguje v praxi, rozebíráme v článku o integraci AI agenta do firemního CRM systému. Pokud uvažujete o nasazení AI agenta přímo do zákaznické podpory, užitečný kontext najdete i v článku o AI agentovi pro zákaznickou podporu.

Jelikož interní dokumentace často obsahuje i osobní údaje zaměstnanců či klientů, při návrhu znalostní báze je třeba myslet i na soulad s GDPR – zejména na to, jaká data smí AI agent vidět, jak dlouho se smí uchovávat ve vektorové databázi a zda lze přístup k citlivým informacím omezit podle role uživatele.

RAG není kouzelný přepínač, který firemní dokumentaci promění v dokonalého AI asistenta přes noc. Je to architektura, která stojí a padá na kvalitě vstupních dat, promyšleném chunkování a průběžné údržbě znalostní báze. Firmy, které tyto základy udělají pořádně, získají AI agenta, který odpovídá přesně, ověřitelně a na základě aktuálních interních informací – ne na základě dohadů. Pokud zvažujete, jak by RAG systém vypadal ve vaší firmě a jaká data by bylo potřeba připravit, nejlepším prvním krokem je nezávazná konzultace přes kontaktní formulář, kde společně projdeme vaši dokumentaci a procesy. Více o tom, jak přistupujeme k vývoji AI řešení, najdete i na stránce AI a automatizace nebo v přehledu našich referencí.

Koncept RAG původně představil tým výzkumníků v práci Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, která dodnes slouží jako referenční základ pro většinu dnešních implementací této architektury.