Když firma zvažuje nasazení AI agenta, první otázka bývá, kolik bude stát vývoj. Je to pochopitelné — je to jednorázová položka, dá se naplánovat a schválit. Otázka, která se klade méně často, je, kolik bude agent stát každý měsíc potom, když už běží.
Rozdíl oproti klasickému softwaru je podstatný. Běžná webová aplikace má provozní náklad, který je do velké míry fixní — hosting stojí zhruba stejně, ať ji používá dvacet nebo třicet lidí. AI agent má náklad, který se mění s každou zprávou, a roste jinak, než většina lidí čeká.
Z čeho se účet skládá
Provozní náklad agenta má tři složky a každá se chová jinak.
Volání jazykového modelu. To je typicky největší a nejkolísavější položka. Účtuje se podle počtu tokenů — kousků textu, které do modelu vstoupí a které z něj vyjdou. Vstup je obvykle levnější než výstup, ale vstupu bývá řádově víc.
Infrastruktura. Server, databáze, fronta úloh, úložiště. Tato část se chová jako u běžné aplikace a je předvídatelná.
Vektorová databáze a vyhledávání, pokud agent pracuje s firemní dokumentací. Náklad roste s objemem dokumentů a s frekvencí jejich přeindexování, ne s počtem otázek. Princip takového řešení jsme rozebrali v článku o RAG a firemní dokumentaci.
Co skutečně žene účet nahoru
Intuitivní odpověď je „počet otázek". V praxi je hlavní faktor někde jinde: délka kontextu, který se do modelu posílá při každém volání.
Agent si nepamatuje konverzaci sám od sebe. Aby věděl, o čem se mluvilo, posílá se mu historie spolu s novou otázkou. Pokud se posílá celá, každá další zpráva v téže konverzaci je dražší než předchozí — za tytéž věty se platí znovu při každém volání. Dlouhá konverzace tak stojí neúměrně víc než několik krátkých.
Totéž platí pro kontext z dokumentace. Pokud agent ke každé otázce přiloží dvacet nejdelších nalezených úryvků místo tří relevantních, platí za osmnáct zbytečných pokaždé.
| Faktor | Vliv na účet | Dá se ovlivnit |
|---|---|---|
| Počet konverzací | přímý, lineární | těžko — je to úspěch, ne problém |
| Délka jedné konverzace | nadlineární | ano — ořezání a shrnutí historie |
| Množství přiloženého kontextu | přímý | ano — lepší vyhledávání, méně úryvků |
| Volba modelu | násobný | ano — ale pozor na kvalitu |
| Opakované stejné otázky | přímý | ano — cache |
Co se s tím reálně dá dělat
První věc, po které většina lidí sáhne, je levnější model. Je to legitimní páka, ale ne první — zhoršení kvality odpovědí se projeví na eskalacích a ty stojí čas lidí, což bývá dražší než ušetřené tokeny. Jak k výběru modelu přistoupit, rozebíráme v článku o výběru jazykového modelu.
Účinnější je začít tím, co se do modelu vůbec posílá:
- Neposílat celou historii. Starší části konverzace se dají nahradit krátkým shrnutím. Pro agenta je podstatné, co klient chce, ne doslovný přepis pozdravů.
- Posílat méně, ale relevantnějších úryvků. Lepší vyhledávání znamená kratší kontext a zároveň přesnější odpověď — jediné místo, kde jde kvalita a cena stejným směrem.
- Cache na opakované otázky. V zákaznické podpoře je velká část dotazů téměř identická. Odpověď, která už jednou vznikla, se nemusí generovat znovu.
- Nepouštět do modelu to, co model nepotřebuje. Otázka „jaké máte otevírací hodiny" nepotřebuje jazykový model. Jednoduchý filtr před agentem vyřeší část dotazů za nulový náklad.
- Zvolit model podle úlohy, ne jeden na všechno. Třídění a klasifikaci zvládne menší model; formulace odpovědi zákazníkovi si zaslouží lepší.
Monitoring: co měřit od prvního dne
Bez měření se optimalizovat nedá a chyba se zjistí až z faktury. Minimum, které má smysl sledovat:
- Spotřeba tokenů za den, rozdělená na vstup a výstup.
- Průměrná délka kontextu na volání — pokud roste v čase, něco se hromadí.
- Náklad na jednu konverzaci, ne jen celkový měsíční součet. To je číslo, které se dá porovnat s hodnotou, kterou konverzace přináší.
- Podíl eskalací na člověka. Pokud po zlevnění modelu vyskočí, úspora byla jen přesunuta jinam.
- Rozpočtový strop a alert. Hranice, po jejímž překročení přijde upozornění — a při hrubém překročení se agent sám zastaví.
Jak to započítat do rozhodnutí
Při porovnávání s ručním řešením se vyplatí počítat s celkovým nákladem, ne jen s vývojem: jednorázová implementace, měsíční provoz a čas lidí, který agent stále vyžaduje — dohled, doplňování znalostí, řešení eskalací. Metodicky k tomu jdeme v článku o měření ROI nasazení AI agenta.
Konkrétní čísla se mezi projekty liší natolik, že paušální suma by byla zavádějící — závisejí na objemu komunikace, délce konverzací, množství dokumentace a zvoleném modelu. Proto má smysl odhad dělat až na konkrétním zadání a v pilotní fázi ho ověřit měřením.
Shrnutí
Provozní náklad AI agenta je proměnná položka, kterou žene nahoru zejména délka posílaného kontextu, ne počet otázek. Nejlevnější optimalizace jsou ty, které zkracují kontext a odfiltrují dotazy, které model vůbec nepotřebují — ne výměna za levnější model. A od prvního dne je třeba měřit spotřebu, mít strop a alert.
Pokud zvažujete nasazení a chcete si projít, jak by provozní náklad vypadal ve vašem případě, ozvěte se přes nezávaznou konzultaci nebo si prohlédněte naše řešení v oblasti AI a automatizace.