QESTIT del i forskningsprojekt – AI och testning i fokus på ICST

Nyligen presenterades följande två forskningsstudier på International Conference on Software Testing (ICST). Studierna har genomförts inom ramen för T.A.R.G.E.T. - projektet och vårt samarbete med Blekinge Tekniska Högskola, och bildar grunden för det arbete vi snart inleder på QESTIT, där våra konsulter kommer att utvärdera dessa lösningar. 

ICST är en ledande mötesplats för forskare, ingenjörer, experter och yrkesverksamma från hela världen som arbetar med mjukvarutestning, verifiering och validering. Här presenteras banbrytande forskning, nya idéer och praktiska tillämpningar inom området. År 2025 hålls konferensen i Neapel, Italien.

STUDIE 1

Evaluation of the choice of LLM in a multi-agent solution for GUI-test generation

Studien i korthet
Studien undersöker om ett system med flera samverkande språkmodeller (LLM:er) kan prestera bättre än ett system där alla agenter använder exakt samma modell. Tanken bakom hypotesen var att olika LLM:er uppvisar olika styrkor och svagheter i tester, och att de därför skulle kunna komplettera varandra och ge mer korrekta resultat om de samarbetade.

PathFinder: en multiagent-demonstrator
För att utvärdera detta utvecklades ett prototypsystem kallat PathFinder, som har fyra agenter. Dessa agenter är programmerade att automatiskt

1. göra explorativa tester (upptäcka nya testfall), och
2. skapa regressionstester (återkommande tester som försäkrar att tidigare funktionalitet inte gått sönder).

Tre olika LLM:er - Mistral, Gemm2 och LLama3,  testades på fyra olika e-handelssajter för att se om blandade modeller kunde höja kvaliteten i testningen.

Resultat: en modell per sajt är bäst…
Det visade sig att hypotesen inte stämde när man bara fokuserar på en enda webbplats: då gav en enskild LLM i alla agenter bättre resultat än att blanda modeller. En möjlig förklaring är att modellerna ”talar olika språk” och lägger vikt vid olika aspekter.

Exempelvis var LLama mer fokuserad på själva webbkomponenterna, medan Gemm2 främst fokuserade på vilka åtgärder användaren utför (t.ex. klick). När agenterna använder olika modeller samtidigt uppstår kommunikations- och samarbetsproblem, eftersom de inte har ett gemensamt fokus.

…Men blandade modeller fungerar för olika webbplatser
I det fall man vill att lösningen ska fungera på flera olika sajter eller system, kunde däremot en kombination av modeller i de olika agenterna vara mer fördelaktig än en enda modell. Flera LLM:er kan då komplettera varandra bättre när förutsättningarna varierar mellan olika typer av webbplatser eller användarscenarier.

STUDIE 2

LLM-based reporting of recorded automated GUI-based test cases

Studien i korthet
Den här studien undersöker hur man kan använda generativ AI (LLM:er) för att analysera modellbaserade GUI-tester och automatiskt samla in sammanhangsinformation (”kontextdata”). Målet är att göra testrapporter tydligare och mer användbara.

Hur det fungerar

1. Demonstrator i Scout

2.  

• Forskarna byggde in en lösning i det akademiska testverktyget Scout.
• Scout låter användaren ”spela in” tester genom att klicka och interagera med en webbapplikation, vilket gör testprocessen mer intuitiv.
  

1.  

2. Generativ AI och kontextdata

3.  

• Med hjälp av en språkmodell analyserar systemet den webbapplikation som testas.
• Modellen samlar in relevant information (t.ex. beskrivningar av funktioner, flöden och möjliga användarscenarier) och lägger till dessa uppgifter i testrapporterna.
• Informationen hjälper även Scout att uppdatera sin interna testmodell, så att verktyget får en djupare förståelse för hur applikationen fungerar.

Resultat
Ett quasi-experiment genomfördes för att bedöma hur användare upplevde de mer innehållsrika rapporterna. Deltagarna uppfattade rapporterna som mer användbara och meningsfulla när LLM-lösningen fyllde på med kontextuell information.

Möjlig användning
Även om lösningen är utvecklad för Scout, kan principerna bakom den generaliseras till andra verktyg och former av modellbaserad testning, där automatisk insamling av kontextdata kan förbättra analys och rapportering.

Mer info - Forskningsprojekt T.A.R.G.E.T Bleking Tekniska Högskola