Regressionstests für Ihren KI-Chatbot oder Voicebot, in Ihrer eigenen CI
Ein Testautomatisierungs-Engineer schreibt eine Regressionstest-Suite für Ihren Chatbot oder Voicebot. Sie liegt in Ihrem Repository, läuft in Ihrer CI und deckt Deutsch, Slowakisch und Tschechisch ab. Kein neues SaaS, und keine Gesprächsdaten gehen an einen Testanbieter.
Was für Ihr Unternehmen auf dem Spiel steht
Eine falsche Antwort Ihres Bots ist die Antwort Ihres Unternehmens. Das kostet es, wenn Antworten unbemerkt abdriften.
Ihr Bot spricht für Ihr Unternehmen
Im Fall Moffatt v. Air Canada (2024) verpflichtete ein Tribunal in British Columbia die Airline zu einer Zahlung an einen Kunden, weil ihr Website-Chatbot eine Tarifregel falsch beschrieben hatte. Es sah die Airline für alle Informationen auf ihrer Website verantwortlich, ob von einer statischen Seite oder einem Chatbot.
Quelle: Moffatt v. Air Canada, 2024 BCCRT 149 (Civil Resolution Tribunal, British Columbia, Kanada)
Behörden erwarten KI-Offenlegung
Seit 2. August 2026 verlangt Artikel 50 der KI-Verordnung der EU, dass Menschen erfahren, dass sie mit einer KI sprechen, sofern das nicht offensichtlich ist. Verstöße gegen diese Transparenzpflichten können mit bis zu 15 Mio. € oder 3 % des weltweiten Jahresumsatzes geahndet werden, je nachdem, welcher Betrag höher ist; für KMU und Start-ups gilt der niedrigere Betrag.
Quelle: EU-KI-Verordnung, Artikel 50 (AI Act Service Desk); EU-KI-Verordnung, Artikel 99 (AI Act Service Desk); AI Act Service Desk: Ab wann gilt die Durchsetzung
Falsche Fakten kosten Umsatz und Supportzeit
Eine falsche Versandkostengrenze, ein falscher Preis oder falsche Öffnungszeiten schicken Kundschaft weg oder zu Ihrem Support. Ein Bot, der Tickets sparen soll, erzeugt neue Tickets und Rückerstattungen, wenn seine Antworten von Ihren AGB abweichen.
Vertrauen entsteht in der Sprache Ihrer Kundschaft
Kundschaft teilt Screenshots falscher oder seltsamer Antworten. Holprige Grammatik auf Deutsch, Slowakisch oder Tschechisch oder ein slowakisch-tschechischer Mix lassen Ihre Marke nachlässig wirken, auch wenn die Fakten stimmen.
Warum Bots unbemerkt kaputtgehen
Kleine Änderungen, falsche Antworten
Sie passen einen Prompt an, wechseln das Modell oder aktualisieren die Wissensdatenbank. Antworten, die letzte Woche stimmten, ändern sich still, und oft merkt es erst die Kundschaft.
Slowakisch und Tschechisch sind schwer zu prüfen
Gängige Testwerkzeuge sind auf Slowakisch und Tschechisch schwach. Ihre automatischen Prüfungen übersehen Grammatikfehler, holprige Formulierungen und Antworten, die in die andere Sprache rutschen.
Menschen müssen wissen, dass sie mit KI reden
Seit dem 2. August 2026 verlangt Artikel 50 der KI-Verordnung der EU (AI Act), dass Menschen spätestens bei der ersten Interaktion erfahren, dass sie mit einer KI sprechen, sofern das nicht offensichtlich ist.
Was wir testen
Jede Suite entsteht aus Szenarien, die zu Ihrem Bot, Ihrer Kundschaft und Ihren Sprachen passen. Diese sechs Bereiche werden zu wiederholbaren Prüfungen in Ihrer Pipeline.
Zielerreichung im Gespräch
Mehrstufige Gespräche mit einem Ziel, etwa Buchung, Stornierung oder Reklamation. Wir prüfen, ob die Person ihr Ziel tatsächlich erreicht.
- Geskriptete und simulierte Dialoge
- Personas mit verschiedenen Zielen und Stilen
- Wiederholte Läufe zeigen instabile Antworten
Antworten passen zu Ihren Fakten
Wir vergleichen Antworten mit Ihrer Website oder Wissensdatenbank: Preise, Öffnungszeiten, Adressen und Richtlinien. Ein falscher Fakt ist ein Fehlschlag.
- Exakte Prüfung von Preisen und Öffnungszeiten
- Richtlinien mit Ihren AGB abgeglichen
- Keine erfundene Antwort bei fehlenden Fakten
Sprachqualität DE, SK und CZ
Automatische Prüfung von Sprache und Grammatik auf Deutsch, Slowakisch und Tschechisch sowie von slowakisch-tschechischer Vermischung. Die Sprachergebnisse werden zusätzlich muttersprachlich geprüft.
- Erkennt Slowakisch und Tschechisch gemischt
- Grammatik und Ton nach festen Kriterien
- Ergebnisse muttersprachlich geprüft
Tool-Aufrufe und Wissensabruf (RAG)
Wenn Ihr Bot bucht, storniert oder nachschlägt, prüfen wir, ob er das richtige Tool mit den richtigen Daten aufruft und aus der richtigen Quelle antwortet.
- Erwarteter Funktionsname und Argumente
- Keine verbotenen oder unerwarteten Aufrufe
- Antworten durch gefundene Quellen belegt
Nachweis der KI-Offenlegung
Nachweis, dass sich Ihr Bot bei der ersten Interaktion als KI zu erkennen gibt, in jedem getesteten Kanal und jeder Sprache (Art. 50 Abs. 1 AI Act).
- Chat: Prüfung der ersten Bot-Nachricht
- Sprache: Prüfung der ersten Äußerung
- Transkripte und Zeiten als Nachweis
Latenz und Kosten pro Gespräch
Langsame Antworten und steigende Modellkosten sind auch Regressionen. Wir messen Antwortzeit pro Runde sowie Tokens und Kosten pro Gespräch gegen Ihr Budget.
- Antwortzeit pro Runde, Median und p95
- Tokens und Kosten pro Gespräch
- Der Lauf schlägt fehl, wenn das Budget reißt
So läuft es ab
Umfang und schriftliche Freigabe
Wir legen fest, welcher Bot, welche Kanäle, Sprachen und Szenarien getestet werden. Sie bestätigen schriftlich, welchen Endpunkt wir testen dürfen, wie viele Gespräche und an welchen Tagen.
Aufbau auf Ihrem Staging
Wir bauen die Suite gegen Ihr Staging oder einen Test-Mandanten mit synthetischen Inhalten, mit einem eingeschränkten, widerrufbaren Testschlüssel. Nie gegen Produktion mit echten Nutzenden.
Übergabe in Ihr Repository
Sie erhalten die Suite als Pull Request in Ihr eigenes Repository. Ihre CI führt sie aus: GitHub Actions, GitLab oder Jenkins. Job und Secrets legen Sie selbst an.
Neuer Lauf bei jeder Änderung
Die Suite läuft erneut, sobald sich Prompt, Modell oder Wissensdatenbank ändern. Mit der monatlichen Betreuung ergänzen wir neue Szenarien und schicken einen Monatsbericht.
So sieht ein Befund aus
Ein erfundenes Beispiel zur Veranschaulichung. Es beschreibt keine echte Kundin, keinen echten Kunden, keinen Shop und keinen Bot.
Beispiel zur Veranschaulichung
- Unsere Frage
- Eine Kundin fragt den Assistenten eines Onlineshops: Innerhalb wie vieler Tage kann ich Ware ohne Angabe von Gründen zurückgeben?
- Was Ihre AGB sagen
- Ware kann innerhalb von 30 Tagen ab Lieferung ohne Angabe von Gründen zurückgegeben werden.
- Was der Bot sagte
- Sie können Ware innerhalb von 14 Tagen ab Lieferung zurückgeben.
- Warum es wichtig ist
- Ihrer Kundschaft werden weniger Rechte genannt, als Sie tatsächlich gewähren. Der Test bleibt rot, bis die Antwort des Bots wieder Ihren AGB entspricht.
Wo Sie anfangen
Beginnen Sie mit einem kostenlosen Probetest. Wenn er Ihnen nützt, folgt ein vollständiges Audit und danach eine Suite in Ihrer eigenen Pipeline.
Kostenloser Probetest
Kostenlos
Ein erster Blick darauf, wie Ihr Bot antwortet, ohne Kosten. Sie benennen den Bot und geben den Test schriftlich frei.
- Ergebnis in der Regel innerhalb von 3 Arbeitstagen
- 20 Szenarien, nur Text, eine Sprache
- An einem Bot, den Sie benennen und schriftlich freigeben
- Zweiseitiger Bericht
- 15-minütige Besprechung der Ergebnisse
- Ein Probetest pro Unternehmen
Basis-Audit
ab 1.490 €
Ein vollständiges Audit Ihres Bots auf Deutsch, Slowakisch und/oder Tschechisch, die Sprache muttersprachlich geprüft.
- Bericht in der Regel innerhalb von 10 Arbeitstagen
- 100 Szenarien, Text
- Deutsch, Slowakisch und/oder Tschechisch
- Sprache muttersprachlich geprüft
- Vollständiger Bericht mit Befunden und Nachweisen
- Ein Nachtest nach Ihren Korrekturen
CI-Suite und monatliche Betreuung
Auf Anfrage
Das Basis-Audit plus die Suite in Ihrem Repository und Ihrer Pipeline, jeden Monat aktuell gehalten.
- Erste Lieferung in der Regel nach 3–4 Wochen, danach monatlich
- Alles aus dem Basis-Audit
- Suite als Pull Request übergeben
- Läuft in GitHub Actions, GitLab oder Jenkins
- Jeden Monat neue Szenarien und neue Läufe
- Monatsbericht
Alle Preise verstehen sich ohne Umsatzsteuer. Größere Umfänge und Sprachtests bieten wir nach einem kurzen Gespräch an.
Für Agenturen
Sie bauen Chatbots und Voicebots für Ihre Kundschaft. Wir prüfen jeden Bot, den Sie ausliefern, vor dem Start und schreiben den Bericht unter dem Namen Ihrer Agentur. Die Kundenbeziehung bleibt bei Ihnen. Preis auf Anfrage.
- Startprüfung für jeden ausgelieferten Bot
- White-Label-Bericht unter dem Namen Ihrer Agentur
- Prüfung von Sprache, Fakten und KI-Offenlegung
Wie wir mit Ihren Daten umgehen
- Nur synthetische Testdaten: erfundene Namen, Telefonnummern und Bestellungen. Keine echten Kundendaten in unseren Szenarien.
- Keine Transkripte oder Aufnahmen aus der Produktion, außer wir haben vorher einen Auftragsverarbeitungsvertrag mit Ihnen unterzeichnet.
- Sie wählen das Bewertungsmodell und den Anbieter, und die Suite nutzt Ihren eigenen API-Schlüssel. So bleiben die Daten in Ihrer Kette.
- Keine Produktionszugänge und keine Admin-Rechte in Ihrer CI. Wir arbeiten mit einem eingeschränkten, widerrufbaren Testschlüssel.
- Artefakte aus den Testläufen löschen wir nach 30 Tagen, sofern nichts anderes vereinbart ist.
Was das nicht ist
- Keine Rechtsberatung und keine behördliche Freigabe nach dem AI Act. Sie erhalten Testnachweise; was sie für Sie bedeuten, beurteilt Ihre Rechtsberatung.
- Die maschinenlesbare Kennzeichnung von KI-Ausgaben nach Art. 50 Abs. 2 testen wir nicht. Ob und wie sie Ihren Bot betrifft, klärt Ihre Rechtsberatung.
- Testergebnisse sind eine Momentaufnahme der Szenarien, die wir an den jeweiligen Tagen ausgeführt haben. Sie beweisen nicht, dass Ihr Bot immer richtig antwortet.
Unsere Berichte sind Testnachweise, keine Rechtsberatung und keine Zertifizierung. Sie zeigen, wie Ihr Assistent auf die von uns ausgeführten Szenarien geantwortet hat, an den Tagen, an denen wir sie ausgeführt haben.
Rechtsquellen (geprüft am 19. Oktober 2026)
Fragen
Brauchen Sie Zugriff auf unsere CI oder unsere Produktion?
Nein. Wir bauen die Suite gegen Ihren Staging-Endpunkt oder einen Test-Mandanten, mit einem eingeschränkten Testschlüssel, den Sie widerrufen können. Sie erhalten die Suite als Pull Request, binden sie in Ihre eigene CI ein und behalten die Secrets bei sich. Produktionszugänge oder Admin-Rechte in Ihrer CI brauchen wir nie.
Welche Chatbot- und Voicebot-Plattformen können Sie testen?
Jeden Bot, den wir über einen HTTP- oder API-Endpunkt erreichen, oder über ein Chat-Widget auf einer Website. Die Suite ist in TypeScript auf Basis von promptfoo geschrieben, einem Open-Source-Testwerkzeug. Ihr Entwicklungsteam kann sie also lesen, ausführen und erweitern.
Testen Sie auch Voicebots?
Ja. Die Gesprächslogik testen wir über den Text- oder API-Kanal Ihres Bots, das ist schneller und günstiger. Tests mit echten Sprachanrufen gibt es auf Anfrage, mit Angebot nach einem Gespräch.
Wohin gehen unsere Daten?
So wenig wie möglich verlässt Ihre Systeme. Die Szenarien nutzen synthetische Daten, die Suite läuft in Ihrer CI, und das Bewertungsmodell läuft mit Ihrem eigenen API-Schlüssel bei einem Anbieter Ihrer Wahl. Echte Transkripte verarbeiten wir nur mit unterzeichnetem Auftragsverarbeitungsvertrag, und Artefakte löschen wir nach 30 Tagen.
Warum nicht einfach eine Self-Service-Testplattform nutzen?
Eine Plattform liefert ein Werkzeug. Szenarien entwerfen, deutsche, slowakische und tschechische Antworten beurteilen und die Tests aktuell halten muss trotzdem jemand. Diese Arbeit übernehmen wir, die Sprache wird muttersprachlich geprüft. Nutzen Sie schon eine Plattform, schreiben wir auch Szenarien dafür.
Deckt das unsere Pflichten nach dem AI Act ab?
Nein. Sie erhalten einen Nachweis, dass Ihr Bot Menschen in jedem getesteten Kanal und jeder Sprache sagt, dass sie mit einer KI sprechen. Welche Pflichten Sie haben und ob Sie sie erfüllen, klärt Ihre Rechtsberatung.
Beginnen Sie mit einem kostenlosen Probetest
Erzählen Sie uns von Ihrem Chatbot oder Voicebot. Wir schlagen einen Umfang für einen kostenlosen Probetest mit 20 Szenarien vor, samt der nötigen schriftlichen Freigabe.
Möchten Sie zuerst ein Beispiel sehen? Erwähnen Sie es in Ihrer Nachricht, dann schicken wir Ihnen ein etwa einminütiges Video (auf Englisch) mit typischen Befunden.