Regresní testy pro váš AI chatbot nebo voicebot, přímo ve vašem CI
Inženýr automatizace testů napíše pro váš chatbot nebo voicebot sadu regresních testů. Je ve vašem repozitáři, běží ve vašem CI a pokrývá slovenštinu, češtinu i němčinu. Nekupujete žádný nový SaaS a žádné konverzace neodcházejí k dodavateli testování.
Co je v sázce pro vaši firmu
Chybná odpověď vašeho bota je odpovědí vaší firmy. Tolik vás stojí, když se odpovědi nepozorovaně odchylují.
Váš bot mluví za vaši firmu
V případu Moffatt v. Air Canada (2024) nařídil tribunál v Britské Kolumbii letecké společnosti zaplatit zákazníkovi poté, co chatbot na jejím webu chybně popsal tarifní pravidlo. Shledal, že společnost odpovídá za všechny informace na svém webu, ať pocházejí ze statické stránky, nebo z chatbota.
Zdroj: Moffatt v. Air Canada, 2024 BCCRT 149 (Civil Resolution Tribunal, Britská Kolumbie)
Regulátoři očekávají upozornění na AI
Od 2. srpna 2026 vyžaduje článek 50 nařízení EU o umělé inteligenci (AI Act), aby lidé byli informováni, že komunikují s AI, pokud to není zřejmé. Za porušení těchto povinností transparentnosti hrozí pokuta až 15 mil. € nebo 3 % celosvětového ročního obratu, podle toho, která částka je vyšší; pro MSP a start-upy ta nižší.
Zdroj: Nařízení EU o umělé inteligenci (AI Act), článek 50 (AI Act Service Desk); Nařízení EU o umělé inteligenci (AI Act), článek 99 (AI Act Service Desk); AI Act Service Desk: kdy začíná vymáhání
Chybná fakta stojí tržby i čas podpory
Chybná hranice pro dopravu zdarma, cena nebo otevírací doba pošle zákazníky jinam nebo na vaši podporu. Bot pořízený proto, aby ubylo tiketů, pak vytváří nové tikety i vracení peněz, když se jeho odpovědi odchýlí od vašich podmínek.
Důvěra vzniká v jazyce vašich zákazníků
Zákazníci sdílejí snímky obrazovky s chybnými nebo podivnými odpověďmi. Ve slovenštině, češtině i němčině působí vaše značka nedbale, když odpověď kulhá gramaticky nebo míchá slovenštinu s češtinou, i když jsou fakta správná.
Proč se boty rozbijí, aniž si toho někdo všimne
Drobné změny rozbijí odpovědi z minulého týdne
Upravíte prompt, vyměníte model nebo aktualizujete znalostní bázi. Odpovědi, které minulý týden fungovaly, se mohou potichu změnit a často si toho nikdo nevšimne, dokud na to nenarazí zákazník.
Slovenštinu a češtinu je těžké kontrolovat
Většina běžných testovacích nástrojů je ve slovenštině a češtině slabá. Jejich automatické kontroly přehlédnou gramatické chyby, nepřirozené formulace i odpovědi, které sklouznou z jednoho jazyka do druhého.
Lidé musí vědět, že mluví s AI
Od 2. srpna 2026 vyžaduje článek 50 nařízení EU o umělé inteligenci (AI Act), aby lidé byli nejpozději při první interakci informováni, že komunikují se systémem AI, pokud to není zřejmé.
Co testujeme
Každá sada vychází ze scénářů šitých na míru vašemu botovi, vašim zákazníkům a vašim jazykům. Z těchto šesti oblastí se stávají opakovatelné kontroly, které běží ve vaší pipeline.
Splnění cíle v konverzaci
Vícekolové konverzace vedené k cíli, například k rezervaci, zrušení nebo reklamaci. Ověřujeme, že se zákazník k cíli skutečně dostane.
- Skriptované i simulované vícekolové chaty
- Persony s různými cíli a styly
- Opakované běhy odhalí nestabilní odpovědi
Odpovědi podle vašich vlastních faktů
Odpovědi porovnáváme s vaším webem nebo znalostní bází: ceny, otevírací doba, adresy a pravidla. Chybný údaj znamená neúspěšný test.
- Přesná kontrola cen a otevírací doby
- Pravidla porovnaná s vašimi vlastními podmínkami
- Žádná vymyšlená odpověď, když fakta chybí
Jazyková kvalita slovenštiny, češtiny a němčiny
Automatické kontroly jazyka a gramatiky ve slovenštině, češtině a němčině i míchání slovenštiny s češtinou. Jazykové výsledky reviduje rodilý mluvčí, takže model není jediným hodnotitelem.
- Odhalí slovenštinu a češtinu smíchanou v jedné odpovědi
- Gramatika a tón hodnocené podle kritérií
- Výsledky reviduje rodilý mluvčí
Volání nástrojů a vyhledávání ve znalostech
Když váš bot rezervuje, ruší nebo něco vyhledává, ověřujeme, že volá správný nástroj se správnými daty a odpovídá ze správného zdroje.
- Očekávaný název funkce a argumenty
- Žádná zakázaná ani neočekávaná volání
- Odpovědi podložené nalezenými zdroji
Důkazy o upozornění na AI
Důkaz, že se váš bot při první interakci představí jako AI, v každém kanálu a jazyce, který testujeme, jak to vyžaduje čl. 50 odst. 1 nařízení EU o umělé inteligenci (AI Act).
- Chat: kontrola první zprávy bota
- Hlas: kontrola první promluvy bota
- Přepisy a časy uložené jako důkaz
Odezva a náklady na konverzaci
Pomalé odpovědi a rostoucí náklady na model jsou také regrese. Měříme dobu odezvy v každém kole a tokeny i náklady na konverzaci vzhledem k vašemu rozpočtu.
- Doba odezvy v každém kole, medián a p95
- Tokeny a náklady na jednu konverzaci
- Běh selže, když překročí rozpočet
Jak to funguje
Rozsah a písemné povolení
Dohodneme se, který bot, kanály, jazyky a scénáře testujeme. Písemně potvrdíte, který endpoint smíme testovat, kolik konverzací smíme spustit a ve které dny.
Vývoj na vašem stagingu
Sadu stavíme proti vašemu staging endpointu nebo testovacímu tenantovi se syntetickým obsahem, s omezeným testovacím klíčem, který můžete zrušit. Nikdy ne proti produkci se skutečnými uživateli.
Předání do vašeho repozitáře
Sadu dostanete jako pull request do vlastního repozitáře. Spouští ji vaše CI: GitHub Actions, GitLab nebo Jenkins. Job a jeho tajné klíče si přidáte sami.
Nový běh při každé změně
Sada se znovu spustí při každé změně promptu, modelu nebo znalostní báze. V rámci měsíční údržby přidáváme nové scénáře a posíláme vám měsíční zprávu.
Jak vypadá nález
Ilustrativní příklad vymyšlený pro tuto stránku. Nepopisuje skutečného klienta, e-shop ani bota.
Ilustrativní příklad
- Na co jsme se zeptali
- Zákazník se ptá asistenta e-shopu: do kolika dnů mohu vrátit zboží bez udání důvodu?
- Co říkají vaše podmínky
- Zboží lze vrátit do 30 dnů od doručení bez udání důvodu.
- Co odpověděl bot
- Zboží můžete vrátit do 14 dnů od doručení.
- Proč na tom záleží
- Zákazníci se dozvědí, že mají méně práv, než jim ve skutečnosti dáváte. Test zůstane červený, dokud odpověď bota opět nebude odpovídat vašim podmínkám.
Jak začít
Začněte bezplatnou ukázkou. Pokud vám pomůže, pokračujte úplným auditem a poté sadou, která běží ve vaší vlastní pipeline.
Bezplatná ukázka
Zdarma
První pohled na to, jak váš bot odpovídá, bez poplatku. Bota určíte vy a test písemně povolíte.
- Výsledky obvykle do 3 pracovních dnů
- 20 scénářů, pouze text, jeden jazyk
- Na bota, kterého určíte a písemně povolíte
- Dvoustránková zpráva
- 15minutový rozbor nálezů
- Jedna ukázka na firmu
Základní audit
od 1 490 €
Úplný audit vašeho bota ve slovenštině, češtině a/nebo němčině, jazyk zkontroluje rodilý mluvčí.
- Zpráva obvykle do 10 pracovních dnů
- 100 scénářů, text
- Slovenština, čeština a/nebo němčina
- Jazyk zkontroluje rodilý mluvčí
- Úplná zpráva s nálezy a důkazy
- Jeden opakovaný test po vašich opravách
Sada v CI a měsíční údržba
Na vyžádání
Základní audit a k tomu sada předaná do vašeho repozitáře a pipeline, kterou každý měsíc aktualizujeme.
- První dodávka obvykle za 3–4 týdny, poté měsíčně
- Vše ze základního auditu
- Sada předaná jako pull request
- Běží v GitHub Actions, GitLab nebo Jenkins
- Nové scénáře a nové běhy každý měsíc
- Měsíční zpráva
Všechny ceny jsou bez DPH. Větší rozsah a testování hlasu naceníme po krátkém hovoru.
Pro agentury
Stavíte chatboty a voiceboty pro své klienty. U každého bota, kterého dodáte, provedeme kontrolu před spuštěním a zprávu připravíme pod jménem vaší agentury. Vztah s klientem zůstává vám. Cena na vyžádání.
- Kontrola před spuštěním pro každého dodaného bota
- White-label zpráva pod jménem vaší agentury
- Kontrola jazyka, faktů a upozornění na AI
Jak nakládáme s vašimi daty
- Pouze syntetická testovací data: vymyšlená jména, telefonní čísla a objednávky. Ve scénářích nejsou žádná skutečná data zákazníků.
- Žádné přepisy ani nahrávky z produkce, pokud s vámi předem neuzavřeme smlouvu o zpracování osobních údajů.
- Hodnoticí model a jeho poskytovatele si vybíráte vy a sada používá váš vlastní API klíč, takže data zůstávají ve vašem vlastním řetězci zpracovatelů.
- Žádné produkční přístupové údaje a žádná administrátorská práva ve vašem CI. Pracujeme s omezeným testovacím klíčem, který můžete zrušit.
- Artefakty z běhů mažeme po 30 dnech, pokud se nedohodneme jinak.
Co to není
- Nejde o právní poradenství ani o úřední schválení podle nařízení EU o umělé inteligenci (AI Act). Dostanete důkazy z testů; co pro vás znamenají, posoudí váš právník.
- Strojově čitelné označování výstupů AI podle čl. 50 odst. 2 není součástí testů. Zda a jak se týká vašeho bota, je otázka pro vašeho právníka.
- Výsledky testů jsou snímkem scénářů, které jsme spustili, ve dnech, kdy jsme je spustili. Nedokazují, že váš bot odpovídá vždy správně.
Naše zprávy jsou důkazy z testování, nikoli právní poradenství ani certifikace. Ukazují, jak váš asistent odpověděl na scénáře, které jsme spustili, ve dnech, kdy jsme je spustili.
Právní zdroje (ověřeno 19. října 2026)
Otázky
Potřebujete přístup k našemu CI nebo produkčním systémům?
Ne. Sadu stavíme proti vašemu staging endpointu nebo testovacímu tenantovi, s omezeným testovacím klíčem, který můžete zrušit. Sadu dostanete jako pull request, přidáte ji do vlastního CI a tajné klíče zůstanou u vás. Produkční přístupové údaje ani administrátorská práva ve vašem CI nikdy nepotřebujeme.
Které platformy chatbotů a voicebotů umíte testovat?
Jakéhokoli bota, ke kterému se dostaneme přes HTTP nebo API endpoint, případně přes chatovací widget na webové stránce. Sada je napsaná v TypeScriptu nad promptfoo, open-source testovacím nástrojem, takže ji vaši vývojáři mohou číst, spouštět i rozšiřovat.
Testujete i voiceboty?
Ano. Logiku konverzace testujeme přes textový nebo API kanál vašeho bota, což je rychlejší a levnější. Testy se skutečnými hlasovými hovory připravíme na vyžádání a naceníme po hovoru.
Kam putují naše data?
Z vašich systémů odchází co nejméně. Scénáře používají syntetická data, sada běží ve vašem CI a hodnoticí model běží na vašem vlastním API klíči u poskytovatele, kterého si vyberete. Skutečné přepisy zpracováváme pouze na základě podepsané smlouvy o zpracování osobních údajů a artefakty z běhů mažeme po 30 dnech.
Proč prostě nepoužít samoobslužnou testovací platformu?
Platforma vám dá nástroj, ale někdo stejně musí navrhnout scénáře, posoudit odpovědi ve slovenštině, češtině a němčině a průběžně udržovat testy. Tuto práci děláme my a jazyk reviduje rodilý mluvčí. Pokud už nějakou platformu používáte, můžeme pro ni připravit scénáře také.
Pokrývá to naše povinnosti podle nařízení o umělé inteligenci (AI Act)?
Ne. Dostanete důkaz, že váš bot v každém testovaném kanálu a jazyce lidem oznamuje, že komunikují s AI. Jaké máte povinnosti a zda je plníte, je otázka pro vašeho právníka.
Začněte bezplatnou ukázkou
Napište nám o svém chatbotu nebo voicebotu. Navrhneme rozsah bezplatné ukázky s 20 scénáři a písemné povolení, které k ní potřebujete.
Chcete nejdřív vidět příklad? Zmiňte to ve zprávě a pošleme vám přibližně minutové video (v angličtině) s typickými nálezy.