← Všechny reference
Automatizované a zátěžové testy AI chatbota
Automatizované a zátěžové testy AI chatbota veřejné instituce, spouštěné paralelně proti produkci i betě a porovnatelné otázku po otázce.
Výzva
Ověřit chatbota před releasem i po něm.
Veřejná instituce provozuje AI chatbota, který odpovídá na dotazy cizojazyčných klientů, a potřebovala ho ověřovat před releasy i po nich: že odpovědi zůstávají správné napříč prostředími a že vydrží souběžný provoz.
Náš přístup
Skutečný prohlížeč na správnost, vlákna na zátěž.
Testovací sada v Robot Frameworku řídí skutečný prohlížeč: odbavení cookie lišty, položení dotazu, kontrola, že se otázka správně zobrazila, čekání na odpověď a její zachycení. Běží paralelně proti produkci i beta prostředí. K tomu zátěžový skript v Pythonu.
✓ Zátěžový skript posílá otázky z CSV v deseti souběžných vláknech
✓ U každé otázky se zaznamenává odpověď i naměřený čas
✓ Testovací plán pro JMeter
✓ Odpovědi z každého běhu v CSV, takže jde produkci a betu porovnat otázku po otázce
Doložený výsledek
K dispozici jsou skutečné výstupy tří běhů: odpovědi spárované s naměřeným časem u každé otázky.