Autonomní AI agenti vs. agenti s lidským dohledem (human-in-the-loop)

Rozhodnutí mezi plně autonomním AI agentem a human-in-the-loop AI agentem není jen technická otázka – je to otázka toho, kolik rizika je firma ochotná přenést na systém, který se učí a občas se mýlí. Zatímco autonomní agent jedná bez čekání na potvrzení, model s lidským dohledem zařazuje do procesu kontrolní bod, kde člověk rozhodnutí potvrdí, upraví nebo zamítne. Rozdíl mezi oběma přístupy určuje nejen rychlost nasazení, ale i to, co se stane, když agent udělá chybu.

Autonomní AI agent dostane cíl, má přístup k nástrojům a datům a sám rozhoduje o krocích potřebných k jeho splnění – aniž by před každou akcí čekal na souhlas člověka. Může to být například agent, který si sám vyhledá informace, vyplní formulář, odešle e-mail nebo upraví záznam v databázi.

Human-in-the-loop AI agent pracuje jinak: před provedením určité třídy akcí (například před odesláním platby, změnou smluvních podmínek nebo veřejnou komunikací) se proces zastaví a čeká na schválení člověka. Agent tedy navrhuje, člověk rozhoduje. V praxi existuje i mezistupeň – agent jedná autonomně u nízkorizikových úloh a přepíná na lidský dohled jen u vybraných, citlivějších kroků.

Proč na tomto rozdílu záleží

Volba modelu ovlivňuje nejen bezpečnost, ale i to, jak lze systém auditovat, jak rychle lze odhalit chybu a kdo za výsledek odpovídá. Firmy, které nasazují agenty bez jasného rozhodnutí o míře autonomie, si tento problém často uvědomí až ve chvíli, kdy se něco pokazí.

Plná autonomie je lákavá, protože eliminuje čekání na člověka a proces zrychluje. Riziko se však koncentruje přesně tam, kde je cena chyby nejvyšší.

• Finanční transakce. Agent, který samostatně schvaluje platby nebo mění limity, může přenést chybu z jednoho špatného vstupu do reálné ztráty peněz dřív, než si toho někdo všimne.
• Komunikace navenek. Autonomně odeslaný e-mail nebo odpověď klientovi nelze vzít zpět – pokud agent špatně interpretuje kontext, chyba je veřejná.
• Změny v citlivých datech. Úprava záznamů v CRM, ERP nebo účetním systému bez kontroly může způsobit škody, které se projeví až s odstupem, kdy je náprava složitější.
• Rozhodnutí s právním nebo smluvním dopadem. Změna podmínek, schválení objednávky nad rámec pravidel nebo interpretace požadavků GDPR vyžadují kontext, který agent nemusí mít celý.

Human-in-the-loop nemusí znamenat, že člověk schvaluje úplně všechno – to by popřelo smysl automatizace. V praxi se nejčastěji kombinují tři mechanismy:

1. Schválení před akcí – agent připraví návrh (platbu, e-mail, změnu záznamu) a člověk ho potvrdí nebo upraví dřív, než se provede.
2. Prahové hodnoty pro eskalaci – agent jedná autonomně do určité hranice (například částky, rozsahu změny nebo míry nejistoty modelu) a nad ní automaticky posouvá rozhodnutí člověku.
3. Zpětná kontrola (review po akci) – agent jedná samostatně, ale výstupy se pravidelně kontrolují a chyby se vracejí do procesu jako zpětná vazba pro úpravu pravidel.

Volba mezi těmito mechanismy závisí na typu úlohy. Pro kategorizaci e-mailů nebo interní vyhledávání v dokumentech obvykle postačuje zpětná kontrola. Pro platby, smlouvy nebo komunikaci s veřejností se vyplatí schválení před akcí.

Graf ukazuje jen obecný princip: čím vyšší je cena případné chyby, tím blíž by měl být kontrolní bod okamžiku provedení akce, ne až po něm.

Rozhodnutí by nemělo být ideologické („chceme co nejvíc automatizace“), ale odvozené od důsledků chyby. Při návrhu nasazení se vyplatí položit si tři otázky:

• Dá se důsledek agentovy akce vrátit zpět, nebo je nevratný (odeslaná platba, veřejná odpověď)?
• Jak velké množství případů agent zpracuje, aniž by je někdo viděl – tedy jak rychle se může chyba znásobit?
• Existuje regulační nebo smluvní povinnost mít rozhodnutí zdokumentované a schválené člověkem, například při zpracování osobních údajů? Tomuto tématu se věnuje článek o AI agentech a GDPR, kde najdete konkrétnější zásady pro práci s osobními údaji.

Rozdíl mezi autonomním agentem a agentem typu RPA, který provádí přesně definované kroky bez vlastního rozhodování, bývá dalším bodem nejasnosti při výběru řešení – podrobněji ho rozebírá článek AI agent vs. RPA: jaký je rozdíl a kdy použít co.

Míra autonomie by měla být součástí návrhu architektury, ne dodatečnou úpravou po nasazení. To znamená předem definovat, které akce agent smí provádět samostatně, které vyžadují schválení, a jak se loguje každé rozhodnutí – včetně důvodu, proč se agent rozhodl tak, jak se rozhodl. Firmy, které uvažují o nasazení AI agenta, najdou přehled možných řešení a přístupů na stránce vývoje AI agentů a automatizace.

Protože správné nastavení kontrolních bodů závisí na konkrétních procesech, rizikovém profilu a regulačním prostředí firmy, nedá se to zobecnit jedním pravidlem. Pokud zvažujete, kde v procesu potřebujete lidský dohled a kde už agent může jednat samostatně, můžete si domluvit nezávaznou konzultaci.

Autonomní AI agenti a agenti s lidským dohledem nejsou dva vzájemně se vylučující modely, ale body na jedné škále. Skutečná otázka nezní „autonomie, nebo dohled“, ale „kde přesně v procesu má stát kontrolní bod tak, aby chyba nestihla napáchat škodu dřív, než ji někdo zachytí“. Čím vyšší je cena chyby, tím blíž okamžiku provedení akce by měl být člověk zapojen – a čím je úloha opakovatelnější a nízkoriziková, tím víc prostoru může dostat samotný agent.