Regresné testy pre váš AI chatbot či voicebot, priamo vo vašom CI
Inžinier automatizácie testov napíše pre váš chatbot alebo voicebot sadu regresných testov. Je vo vašom repozitári, beží vo vašom CI a pokrýva slovenčinu, češtinu aj nemčinu. Nekupujete žiadny nový SaaS a konverzácie neodchádzajú k žiadnemu dodávateľovi testovania.
Čo je v stávke pre vašu firmu
Nesprávna odpoveď vášho bota je odpoveďou vašej firmy. Keď sa odpovede nenápadne zhoršia, platíte za to takto.
Váš bot hovorí za vašu firmu
V prípade Moffatt v. Air Canada (2024) tribunál v Britskej Kolumbii nariadil leteckej spoločnosti zaplatiť zákazníkovi, pretože jej chatbot na webe nesprávne opísal pravidlo cestovného. Uznal, že spoločnosť zodpovedá za všetky informácie na svojom webe, či zo statickej stránky, alebo z chatbota.
Zdroj: Moffatt v. Air Canada, 2024 BCCRT 149 (Civil Resolution Tribunal, Britská Kolumbia, Kanada)
Úrady očakávajú upozornenie na AI
Od 2. augusta 2026 článok 50 aktu EÚ o umelej inteligencii vyžaduje, aby ľudia vedeli, že komunikujú s AI, ak to nie je zrejmé. Porušenie týchto povinností transparentnosti možno pokutovať až do 15 mil. € alebo 3 % celosvetového ročného obratu, podľa toho, čo je vyššie; pre MSP a start-upy podľa toho, čo je nižšie.
Zdroj: Akt EÚ o umelej inteligencii, článok 50 (AI Act Service Desk); Akt EÚ o umelej inteligencii, článok 99 (AI Act Service Desk); AI Act Service Desk: odkedy sa povinnosti vymáhajú
Nesprávne fakty stoja tržby aj čas podpory
Nesprávna hranica dopravy zadarmo, cena alebo otváracie hodiny pošlú zákazníkov preč alebo na vašu podporu. Bot, ktorý mal ušetriť tikety, vytvára nové tikety aj vrátenia peňazí, keď sa jeho odpovede odchýlia od vašich podmienok.
Dôvera vzniká v jazyku zákazníka
Zákazníci zdieľajú snímky obrazovky nesprávnych alebo zvláštnych odpovedí. Lámaná slovenčina, čeština či nemčina alebo miešanie slovenčiny s češtinou pôsobí nedbalo, aj keď sú fakty správne.
Prečo sa boty pokazia bez povšimnutia
Malá zmena pokazí overené odpovede
Upravíte prompt, vymeníte model alebo aktualizujete znalostnú bázu. Odpovede, ktoré minulý týždeň fungovali, sa potichu zmenia a často si to ako prvý všimne až zákazník.
Slovenčinu a češtinu je ťažké overiť
Bežné testovacie nástroje sú v slovenčine a češtine slabé. Ich automatické kontroly prehliadnu gramatické chyby, neprirodzené formulácie aj odpovede, ktoré skĺznu z jedného jazyka do druhého.
Ľudia musia vedieť, že hovoria s AI
Podľa článku 50 európskeho aktu o umelej inteligencii (AI Act) treba ľuďom od 2. augusta 2026 najneskôr pri prvej interakcii oznámiť, že komunikujú s AI, ak to nie je zrejmé.
Čo testujeme
Každá sada vychádza zo scenárov šitých na mieru vášmu botovi, vašim zákazníkom a vašim jazykom. Týchto šesť oblastí sa mení na opakovateľné kontroly vo vašej pipeline.
Splnenie cieľa v konverzácii
Viackolové konverzácie vedené k cieľu, napríklad rezervácia, zrušenie alebo reklamácia. Overujeme, že sa zákazník k cieľu naozaj dostane.
- Skriptované aj simulované konverzácie
- Persóny s rôznymi cieľmi a štýlom
- Opakované behy odhalia nestabilné odpovede
Odpovede podľa vašich faktov
Odpovede porovnávame s vaším webom alebo znalostnou bázou: ceny, otváracie hodiny, adresy a pravidlá. Nesprávny údaj znamená neúspešný test.
- Presná kontrola cien a otváracích hodín
- Pravidlá porovnané s vašimi podmienkami
- Žiadna vymyslená odpoveď, keď údaje chýbajú
Kvalita slovenčiny, češtiny a nemčiny
Automatické kontroly jazyka a gramatiky v slovenčine, češtine a nemčine aj miešania slovenčiny s češtinou. Výsledky reviduje rodený hovoriaci, takže nerozhoduje len model.
- Odhalí slovenčinu a češtinu v jednej odpovedi
- Gramatika a tón hodnotené podľa kritérií
- Výsledky reviduje rodený hovoriaci
Volania nástrojov a vyhľadávanie (RAG)
Keď váš bot rezervuje, ruší alebo niečo vyhľadáva, overujeme, že volá správny nástroj so správnymi údajmi a odpovedá zo správneho zdroja.
- Očakávaný názov funkcie a argumenty
- Žiadne zakázané ani nečakané volania
- Odpovede podložené nájdenými zdrojmi
Dôkazy o označení AI
Dôkaz, že sa váš bot pri prvej interakcii predstaví ako AI, v každom testovanom kanáli a jazyku, ako to vyžaduje čl. 50 ods. 1 AI Act.
- Chat: kontrola prvej správy bota
- Hlas: kontrola prvej repliky bota
- Prepisy a časy uložené ako dôkaz
Odozva a cena za konverzáciu
Pomalé odpovede a rastúce náklady na model sú tiež regresie. Meriame odozvu v každom kole a tokeny aj cenu za konverzáciu oproti vášmu rozpočtu.
- Odozva v každom kole, medián a p95
- Tokeny a cena za jednu konverzáciu
- Beh zlyhá, keď prekročí rozpočet
Ako to funguje
Rozsah a písomné povolenie
Dohodneme sa, ktorý bot, kanály, jazyky a scenáre testujeme. Písomne potvrdíte, ktorý endpoint smieme testovať, koľko konverzácií a v ktoré dni.
Vývoj na vašom stagingu
Sadu staviame proti vášmu staging endpointu alebo testovaciemu tenantovi so syntetickým obsahom, s obmedzeným kľúčom, ktorý môžete zrušiť. Nikdy nie na produkcii so skutočnými ľuďmi.
Odovzdanie do vášho repozitára
Sadu dostanete ako pull request do vlastného repozitára. Spúšťa ju vaše CI: GitHub Actions, GitLab alebo Jenkins. Job a jeho tajné kľúče si pridáte sami.
Nový beh pri každej zmene
Sada sa spustí znova pri každej zmene promptu, modelu alebo znalostnej bázy. Pri mesačnej údržbe pridávame nové scenáre a posielame mesačnú správu.
Ako vyzerá nález
Ilustračný príklad vymyslený pre túto stránku. Neopisuje skutočného klienta, e-shop ani bota.
Ilustračný príklad
- Čo sme sa opýtali
- Zákazník sa pýta asistenta e-shopu: do koľkých dní môžem vrátiť tovar bez udania dôvodu?
- Čo hovoria vaše podmienky
- Tovar môžete vrátiť do 30 dní od doručenia bez udania dôvodu.
- Čo odpovedal bot
- Tovar môžete vrátiť do 14 dní od doručenia.
- Prečo na tom záleží
- Zákazníci sa dozvedia, že majú menej práv, než im v skutočnosti dávate. Test zostane červený, kým odpoveď bota opäť nezodpovedá vašim podmienkam.
Kde začať
Začnite bezplatnou ukážkou. Ak vám pomôže, pokračujte plným auditom a potom sadou, ktorá beží vo vašej vlastnej pipeline.
Bezplatná ukážka
Zadarmo
Prvý pohľad na to, ako váš bot odpovedá, bez poplatku. Bota určíte vy a test písomne povolíte.
- Výsledky zvyčajne do 3 pracovných dní
- 20 scenárov, iba text, jeden jazyk
- Na bota, ktorého určíte a písomne povolíte
- Dvojstranová správa
- 15-minútový prechod zisteniami
- Jedna ukážka na firmu
Základný audit
od 1 490 €
Kompletný audit vášho bota v slovenčine, češtine a/alebo nemčine, jazyk skontroluje rodený hovoriaci.
- Správa zvyčajne do 10 pracovných dní
- 100 scenárov, text
- Slovenčina, čeština a/alebo nemčina
- Jazyk skontroluje rodený hovoriaci
- Úplná správa so zisteniami a dôkazmi
- Jeden opakovaný test po vašich opravách
Sada v CI a mesačná údržba
Na vyžiadanie
Základný audit a k tomu sada odovzdaná do vášho repozitára a pipeline, ktorú každý mesiac aktualizujeme.
- Prvé dodanie zvyčajne za 3–4 týždne, potom mesačne
- Všetko zo základného auditu
- Sada odovzdaná ako pull request
- Beží v GitHub Actions, GitLab alebo Jenkins
- Nové scenáre a nové behy každý mesiac
- Mesačná správa
Všetky ceny sú bez DPH. Väčší rozsah a testovanie hlasu naceníme po krátkom hovore.
Pre agentúry
Stavíte chatboty a voiceboty pre svojich klientov. Pred spustením každého bota, ktorého dodáte, urobíme kontrolu a správu pripravíme pod menom vašej agentúry. Vzťah s klientom zostáva vám. Cena na vyžiadanie.
- Kontrola pred spustením pre každého dodaného bota
- White-label správa pod menom vašej agentúry
- Kontrola jazyka, faktov a označenia AI
Ako narábame s vašimi údajmi
- Iba syntetické testovacie údaje: vymyslené mená, telefónne čísla a objednávky. V scenároch nie sú žiadne skutočné údaje zákazníkov.
- Žiadne prepisy ani nahrávky z produkcie, kým s vami nepodpíšeme zmluvu o spracúvaní osobných údajov.
- Hodnotiaci model a jeho poskytovateľa si vyberáte vy a sada používa váš API kľúč, takže údaje zostávajú vo vašom reťazci sprostredkovateľov.
- Žiadne produkčné prístupy a žiadne administrátorské práva vo vašom CI. Pracujeme s obmedzeným testovacím kľúčom, ktorý môžete zrušiť.
- Artefakty z behov mažeme po 30 dňoch, ak sa nedohodneme inak.
Čo to nie je
- Nejde o právne poradenstvo ani o úradné schválenie podľa AI Act. Dostanete dôkazy z testov; čo pre vás znamenajú, posúdi váš právnik.
- Strojovo čitateľné označovanie výstupov AI podľa čl. 50 ods. 2 nie je súčasťou testov. Či a ako sa týka vášho bota, je otázka pre vášho právnika.
- Výsledky testov sú snímkou scenárov, ktoré sme spustili, v dňoch, keď sme ich spustili. Nedokazujú, že váš bot odpovedá vždy správne.
Naše správy sú dôkazom z testovania, nie právnym poradenstvom ani certifikáciou. Ukazujú, ako váš asistent odpovedal na scenáre, ktoré sme spustili, v dňoch, keď sme ich spustili.
Právne zdroje (overené 19. októbra 2026)
Otázky
Potrebujete prístup k nášmu CI alebo produkcii?
Nie. Sadu staviame proti vášmu staging endpointu alebo testovaciemu tenantovi, s obmedzeným testovacím kľúčom, ktorý môžete zrušiť. Dostanete ju ako pull request, pridáte ju do vlastného CI a tajné kľúče zostanú u vás. Produkčné prístupy ani administrátorské práva vo vašom CI nikdy nepotrebujeme.
Ktoré platformy chatbotov a voicebotov viete testovať?
Akýkoľvek bot, ku ktorému sa dostaneme cez HTTP alebo API endpoint, prípadne cez chatovací widget na webe. Sada je napísaná v TypeScripte nad promptfoo, open-source nástrojom na testovanie, takže ju vaši vývojári vedia čítať, spúšťať aj rozširovať.
Testujete aj voiceboty?
Áno. Logiku konverzácie testujeme cez textový alebo API kanál vášho bota, čo je rýchlejšie a lacnejšie. Testy so skutočnými hlasovými hovormi pripravíme na vyžiadanie a naceníme po hovore.
Kam putujú naše údaje?
Z vašich systémov odchádza čo najmenej. Scenáre používajú syntetické údaje, sada beží vo vašom CI a hodnotiaci model beží na vašom API kľúči u poskytovateľa, ktorého si vyberiete. Skutočné prepisy spracúvame len na základe podpísanej zmluvy o spracúvaní osobných údajov a artefakty z behov mažeme po 30 dňoch.
Prečo nepoužiť samoobslužnú testovaciu platformu?
Platforma vám dá nástroj, no niekto musí navrhnúť scenáre, posúdiť odpovede v slovenčine, češtine a nemčine a priebežne udržiavať testy. Túto prácu robíme my a jazyk reviduje rodený hovoriaci. Ak už nejakú platformu používate, vieme pre ňu pripraviť scenáre.
Pokrýva to naše povinnosti podľa AI Act?
Nie. Dostanete dôkaz, že váš bot v každom testovanom kanáli a jazyku oznamuje ľuďom, že komunikujú s AI. Aké máte povinnosti a či ich plníte, je otázka pre vášho právnika.
Začnite bezplatnou ukážkou
Napíšte nám o svojom chatbote alebo voicebote. Navrhneme rozsah bezplatnej ukážky s 20 scenármi a písomné povolenie, ktoré na ňu treba.
Chcete najprv vidieť príklad? Spomeňte to v správe a pošleme vám približne minútové video (v angličtine) s typickými zisteniami.