Ako vybrať jazykový model pre firemného AI agenta

Otázka „aký model použijeme" príde v projekte s AI agentom obvykle už v prvom týždni — a takmer vždy dostane viac pozornosti, než si zaslúži. Rozhoduje sa podľa toho, čo bolo naposledy vidieť v médiách, prípadne podľa tabuľky verejných benchmarkov, ktorá s vašou agendou nemá spoločné takmer nič. V reálnej prevádzke pritom o úspechu rozhodujú úplne iné veci: či model spoľahlivo volá nástroje, či zvláda odbornú slovenčinu, koľko stojí pri desaťtisícoch behov mesačne a či ho o pol roka viete vymeniť bez prepisovania systému.

Dobrá správa je, že výber jazykového modelu patrí medzi ľahšie vratné rozhodnutia — pokiaľ ho od začiatku beriete ako výber komponentu, nie ako výber platformy. Zlá správa je, že väčšina tímov si tú vratnosť zabetónuje v prvých dvoch šprintoch: prompty napísané na štýl jedného modelu, formát nástrojov naviazaný na jedno SDK, žiadna evaluačná sada. Tento článok je o kritériách, ktoré naozaj rozhodujú, o rozdiele medzi hostovaným API a vlastným nasadením a o tom, ako výber overiť na vlastných dátach. Zámerne v ňom nenájdete konkrétne názvy modelov ani ceny — tie sa menia rýchlejšie, než stihnete dočítať článok. Kritériá vydržia.

Ak si máte z celého textu odniesť jednu vec, tak túto: model nevyberáte „všeobecne", vyberáte ho pre konkrétny krok konkrétneho procesu. Agent, ktorý rieši firemné úlohy, má vnútri typicky päť až pätnásť rôznych krokov a každý má iný profil nárokov.

Typ úlohy

Klasifikácia príchodzieho e-mailu do jednej z ôsmich kategórií a napísanie právne citlivej odpovede zákazníkovi sú dve úplne odlišné úlohy. Prvá potrebuje konzistentnosť a rýchlosť, druhá jazykový cit a schopnosť pracovať s nuansou. Rozdeľte si proces na kroky a ku každému si napíšte, či ide o triedenie, extrakciu, sumarizáciu, generovanie textu alebo plánovanie postupnosti akcií. Až potom vyberajte.

Kontextové okno a ako s ním narábate

Veľké kontextové okno je pohodlné, ale nie je náhrada za dobrý výber dát. Ak agentovi do každého behu nasypete celú internú smernicu, zaplatíte za to latenciou aj cenou a kvalita odpovede sa často zhorší — relevantná veta sa stratí medzi tisíckami irelevantných. V praxi je lacnejšie a presnejšie postaviť poriadne vyhľadávanie nad dokumentmi, teda RAG nad firemnou dokumentáciou, a modelu podať len to podstatné. Veľký kontext berte ako poistku pre výnimočné prípady, nie ako predvolený režim.

Latencia

Latencia sa nemeria v milisekundách, ale v tom, ako pôsobí na používateľa. Agent v chate na webe musí začať odpovedať do sekundy, inak návštevník odchádza. Agent, ktorý v noci spracuje 4 000 dokumentov, môže mať odozvu aj desať sekúnd na kus a nikomu to neprekáža. Pri viackrokových agentoch sa latencia navyše sčítava: päť volaní po dvoch sekundách je desať sekúnd čakania.

Cena pri reálnom objeme

Cena za jedno volanie je zavádzajúci údaj. Zaujímavá je cena za dokončenú úlohu — vrátane opakovaných pokusov, volaní nástrojov, prípadných opráv a kontrolného kroku. Model, ktorý je na jednotku drahší, ale dokončí úlohu na prvý raz, býva v súčte lacnejší než lacný model, ktorý sa potrebuje trikrát opraviť. Presne toto je jeden z faktorov, ktoré ovplyvňujú cenu a náročnosť AI agenta na mieru.

Spoľahlivosť volania nástrojov

Toto kritérium podceňuje takmer každý, kto model vyberá podľa benchmarkov. Firemný agent zvyčajne nič „nevie" sám — číta z CRM, zapisuje do ERP, zakladá tikety. Kľúčové je, či model konzistentne trafí správny nástroj, dodrží schému parametrov, nevymyslí si pole, ktoré neexistuje, a vie sa zastaviť, keď mu chýba vstup. Rozdiely medzi modelmi sú tu väčšie a praktickejšie než rozdiely v „inteligencii".

Kvalita slovenčiny a češtiny

Modely, ktoré pôsobia výborne v angličtine, dokážu v slovenčine tvoriť nemotorné vety, chybne skloňovať mená alebo miešať bohemizmy. Ak agent píše zákazníkom alebo generuje texty pre interné dokumenty, otestujte to na reálnych vzorkách — vrátane odborného slovníka vášho odvetvia, ktorý je často najslabším miestom.

Druhé veľké rozhodnutie nie je o kvalite, ale o tom, kde končia vaše dáta a koľko prevádzky si beriete na seba. Modely s otvorenými váhami dnes zvládnu väčšinu bežných firemných úloh; otázka je, či ich chcete prevádzkovať.

Rozhodovanie je jednoduchšie, než sa zdá. Ak spracúvate bežnú firemnú agendu a poskytovateľ vie garantovať spracovanie v EÚ a nepoužívanie vašich dát na trénovanie, hostované API je pre väčšinu firiem rozumná voľba — pravidlá a povinnosti sme rozpísali v texte o tom, na čo si dať pozor pri AI agentoch a GDPR. Vlastné nasadenie dáva zmysel v troch situáciách: máte regulačnú alebo internú požiadavku, ktorá tretiu stranu nepripúšťa; máte taký objem, že fixné náklady na infraštruktúru vyjdú lepšie; alebo potrebujete model doladiť na vlastných dátach spôsobom, ktorý hostovaná služba neponúka.

Typický prvý návrh vyzerá tak, že celý agent beží na najsilnejšom dostupnom modeli. Funguje to a na demo je to najrýchlejšia cesta. Pri prechode do prevádzky sa ukáže, že 80 % volaní sú triviálne kroky — rozhodnutie, do ktorej vetvy proces pokračuje, extrakcia troch polí z formulára, kontrola, či prišla odpoveď zákazníka — a na tie platíte prémiovú sadzbu aj prémiovú latenciu.

Praktickejší vzor je odstupňovanie. Lacný a rýchly model robí smerovanie, klasifikáciu a jednoduché extrakcie. Silný model nastupuje len na kroky, kde sa naozaj uvažuje: syntéza z viacerých zdrojov, formulácia citlivej odpovede, plánovanie postupnosti akcií. Medzi nimi stojí explicitné rozhodovacie pravidlo, nie náhoda.

Väčší model nie je stratégia. Stratégia je vedieť, ktoré kroky si ho zaslúžia.

Tento prístup má aj vedľajší efekt: núti vás proces poriadne rozpísať. Keď viete pomenovať, ktorý krok je „ťažký" a prečo, zvyčajne zistíte, že polovica ťažkých krokov sa dá zjednodušiť lepším promptom alebo lepším nástrojom. Ak sa vám kroky začnú prirodzene deliť do viacerých rolí, stojí za zváženie aj to, či nejde o prípad pre multi-agentový systém namiesto jedného agenta.

Trh sa mení v mesiacoch. Model, ktorý je dnes najlepší pomer ceny a kvality pre vašu úlohu, ním o dva kvartály nemusí byť. Preto je dôležitejšie než samotný výber to, aby výmena bola lacná.

V praxi to znamená štyri veci. Po prvé, volanie modelu má byť za vlastnou vrstvou abstrakcie — jedno miesto v kóde, kde sa mení dodávateľ, nie stovky miest. Po druhé, definície nástrojov si držte vo vlastnom formáte a mapujte ich na formát konkrétneho poskytovateľa až na hranici. Po tretie, prompty píšte skôr štruktúrovane a explicitne než „vyladené na zvláštnosti jedného modelu" — čím viac trikov, tým bolestivejšia migrácia. A po štvrté, majte evaluačnú sadu, ktorou nového kandidáta preženiete za jedno popoludnie.

Tak staviame AI agentov a automatizácie aj my: model je konfigurácia, nie základ architektúry.

Verejné benchmarky merajú niečo iné, než potrebujete vy. Merajú priemer naprieč úlohami, ktoré sú zväčša anglické, akademické a nezávislé od vašich systémov. Vaša otázka znie inak: zvládne tento model triediť naše reklamácie a volať naše API?

Postup, ktorý sa osvedčil, je nenáročný a dá sa zvládnuť za pár dní:

1. Zozbierajte 50 až 200 reálnych prípadov z produkcie alebo archívu. Vyberte ich tak, aby zodpovedali rozloženiu bežnej prevádzky, a pridajte tie nepríjemné — nejasné zadania, preklepy, prílohy v zlom formáte.
2. Definujte, čo je správna odpoveď. Pri klasifikácii je to jednoduché. Pri generovaní textu potrebujete kritériá, ktoré posúdi človek, alebo aspoň kontrolný zoznam typu „obsahuje číslo objednávky, neuvádza cenu, oslovuje formálne".
3. Púšťajte kandidátov cez rovnaký prompt a rovnaké nástroje. Meňte len model, nič iné, inak neviete, čo spôsobilo rozdiel.
4. Vyhodnoťte tri veci naraz: kvalitu, cenu za dokončenú úlohu a percento behov, kde model porušil schému nástroja alebo sa zacyklil.
5. Otestujte aj to, čo sa má stať pri neúspechu. Model, ktorý povie „na toto nemám podklad", je v podpore užitočnejší než model, ktorý sebavedomo vymyslí odpoveď.

Kedy tento postup nedáva zmysel

Ak riešite jednorazovú internú pomôcku pre päť ľudí, budovanie evaluačnej sady je zbytočná réžia — vezmite rozumný model, otestujte to ručne a hotovo. Formálna evaluácia sa oplatí až tam, kde agent beží v objeme, dotýka sa zákazníka alebo peňazí, alebo kde chyba niečo stojí.

Výber jazykového modelu pre firemného AI agenta nie je otázka „ktorý je najlepší", ale „ktorý je dosť dobrý na tento konkrétny krok pri tejto cene a latencii". Rozpíšte proces na kroky, posúďte typ úlohy, prácu s kontextom, latenciu, cenu za dokončenú úlohu, spoľahlivosť volania nástrojov a kvalitu slovenčiny. Medzi hostovaným API a vlastným nasadením rozhodujte podľa regulácie a objemu, nie podľa pocitu. Nedávajte najsilnejší model na všetko — odstupňujte. A hlavne: postavte systém tak, aby výmena modelu bola konfiguračná zmena, pretože o rok ju takmer isto budete robiť.

Ak zvažujete nasadenie agenta a chcete si výber modelu overiť na vlastných dátach ešte pred vývojom, ozvite sa nám a prejdeme si váš prípad.