QESTIT participe à un projet de recherche sur l’IA et les tests - ICST

Deux articles de recherche récents ont été présentés lors de l’International Conference on Software Testing (ICST), l’un des principaux événements mondiaux réunissant chercheurs, ingénieurs et professionnels du test logiciel, de la vérification et de la validation.

Ces études ont été menées dans le cadre du projet T.A.R.G.E.T., en collaboration avec le Blekinge Institute of Technology et notre partenaire Synteda.

Ces résultats constituent désormais la base de la prochaine phase chez QESTIT, où nos consultants commenceront à évaluer les solutions proposées en conditions réelles.

ICST 2025 s’est tenu à Naples, en Italie, et sert de plateforme mondiale pour les recherches de pointe et l’innovation appliquée dans le domaine du test logiciel.

ÉTUDE 1

Évaluation du choix des LLM dans une solution multi-agents pour la génération de tests GUI

Résumé
Cette étude examine si un système multi-agents utilisant différents modèles de langage (LLM) peut surpasser un système où tous les agents utilisent le même modèle.
L’hypothèse de départ : chaque LLM ayant ses propres forces et faiblesses pour la génération de tests, les combiner pourrait améliorer les résultats.

PathFinder : un prototype multi-agents

Pour tester cette idée, l’équipe a développé un prototype nommé PathFinder, avec quatre agents autonomes capables de :

• Réaliser des tests exploratoires (découverte de nouveaux cas de test)

• Générer des tests de régression (vérification du bon fonctionnement existant)

Trois LLMs – Mistral, Gemm2 et LLama3 – ont été utilisés sur quatre sites e-commerce pour évaluer si un mix de modèles améliorait la qualité des tests.

Résultats : Un seul modèle par site fonctionne mieux...

Les résultats ont montré que l’hypothèse ne se vérifiait pas pour un site unique : quand tous les agents utilisent le même LLM, les résultats sont meilleurs que lorsqu’on les mélange.
Raison probable : les modèles « parlent un langage différent » et mettent en avant des aspects distincts de l’interface.

Exemple :

• LLama se concentrait davantage sur les composants web

• Gemm2 privilégiait les actions utilisateurs comme les clics

Ces différences rendaient la communication et la coordination entre agents plus difficiles avec des modèles mixtes.

…Mais des modèles mixtes sont prometteurs pour des systèmes variés
En revanche, lorsqu’il s’agit de générer des tests adaptés à plusieurs sites ou contextes, le mélange de modèles peut être avantageux.
Les LLM peuvent alors se compléter plus efficacement dans des environnements variés ou des scénarios utilisateurs complexes.

ÉTUDE 2

Génération de rapports à partir de tests automatisés GUI enregistrés, basés sur des LLM

Résumé

Cette étude explore comment l’IA générative (LLM) peut analyser des tests GUI enregistrés (basés sur des modèles) et collecter automatiquement des données contextuelles pour améliorer la clarté et la pertinence des rapports de test.

Un démonstrateur dans Scout

Les chercheurs ont intégré une solution dans Scout, un outil de test académique qui permet aux utilisateurs d’enregistrer leurs tests en interagissant directement avec une application web – rendant ainsi les tests plus intuitifs.

Utilisation de l’IA générative

Le système :

• Analyse l’application web testée
• Récupère des informations contextuelles pertinentes (descriptions fonctionnelles, flux, scénarios utilisateurs potentiels)
• Intègre ces données dans les rapports de test
• Met à jour le modèle de test interne de Scout pour mieux comprendre le comportement de l’application

Résultats

Une quasi-expérience a été menée pour évaluer la perception utilisateur des rapports enrichis par IA.

Les participants ont jugé les rapports LLM plus clairs, plus utiles et plus faciles à comprendre.

Applications potentielles

Même si cette solution a été développée pour Scout, les principes sont transposables à d’autres outils et environnements de test basés sur des modèles.

L’enrichissement contextuel automatique pourrait améliorer l’analyse et le reporting dans de nombreux outils.

Plus d'informations :
Projet de recherche T.A.R.G.E.T. – Blekinge Institute of Technology