Während viele noch diskutieren, wie Künstliche Intelligenz Testing-Prozesse verbessern könnte, haben wir gehandelt: Mit einem erfolgreichen Proof of Concept (PoC) zeigen wir, wie KI schon heute konkrete Mehrwerte für Qualitätssicherung und Effizienz im Softwaretesting liefert.
Mit unserem erfolgreichen Proof of Concept (PoC) zeigen wir, wie KI schon heute konkrete Mehrwerte für Qualitätssicherung und Effizienz im Softwaretesting liefert. Das Ziel: Testfälle automatisiert und qualitätsgesichert mit Hilfe von KI erzeugen – und so Zeit, Ressourcen und Fehlerkosten deutlich reduzieren.
Die Ausgangslage ist in vielen Unternehmen ähnlich:
In einem zunehmend komplexen Systemumfeld stoßen viele Organisationen im Testing an Kapazitätsgrenzen.
Fachliches Know-how aus dem Business steht nur punktuell zur Verfügung, obwohl es für gute Tests unerlässlich ist.
Klassische, manuelle Testfallerstellung stößt dabei schnell an ihre Grenzen – sowohl hinsichtlich Effizienz als auch hinsichtlich Fehlervermeidung. Unser Ziel war es daher, zu prüfen, inwieweit ein KI-gestützter Workflow die Erstellung und Bewertung von Testfällen unterstützen kann. Wichtig war uns dabei ein konkreter Anwendungsfall mit echten Daten und messbaren KPIs.
Auf Basis unseren QESTIT KI Workflow Framework konfigurieren wir einen durchgängigen Workflow, bei dem die Schritte der Testfallerstellung automatisiert durch zwei Large Language Models (GPT-4o-mini, MistralAI) durchgeführt werden:
2. Testfallgenerierung basierend auf kontextuellen Prompts: Ableitung passender Testfälle auf Grundlage der analysierten Informationen.
3. Qualitätsprüfung durch automatisierte Bewertung und Reduktion von Redundanzen: Optimierung der Testfälle und Sicherstellung der Layout- und Strukturvorgaben.
4. Ableitung von Erkenntnissen zur Übertragbarkeit auf weitere Use Cases: Skalierung des Ansatzes
Der Workflow wurde in einem realen Anwendungskontext erprobt und lässt sich flexibel auf andere Systeme und Prozesse übertragen.
Die Ergebnisse des PoC sprechen eine klare Sprache:
50 % der generierten Testfälle waren direkt fachlich verwertbar
Deutliche Zeitersparnis bereits ab einer Testfallanzahl von 5 oder mehr
Effizienzvorteile gegenüber generischen KI-Ansätzen, die nur auf statischem Prompting basieren
Ein besonders aufschlussreicher Test war der Einsatz des KI-Workflows mit einem neuen, zuvor nicht verwendeten Anwendungsszenario. Trotz fehlender individueller Anpassung an diesen Kontext konnte das System auf Anhieb qualitativ hochwertige Testfälle erzeugen. Das zeigt: Unser Ansatz ist nicht auf Einzelfälle beschränkt, sondern lässt sich auf weitere Systeme und Prozesse übertragen.
Trotz der positiven Ergebnisse brachte der PoC auch wichtige Erkenntnisse mit Blick auf notwendige Rahmenbedingungen und Grenzen:
Veraltete oder unvollständige Dokumentationen führen zu Fehlern – eine hohe Qualität der Informationen ist daher essenziell. Gerne unterstützen wir hier mit verschiedenen KI-Utilities zur Bewertung und Optimierung der Dokumentationsqualität – beispielsweise durch automatische Tabellenoptimierung oder die automatische Trennung unstrukturierter Dokumente.
Ohne Optimierung der Dokumentation war der Ressourcenverbrauch und die Menge an unbrauchbaren Informationen und Formatierungen sehr hoch. Durch KI gestütze Optimierungen kann der Ressourcenverbrauch effizient optimiert werden. Dies führt auch zu einer besseren Qualität der KI-generierten Ergebnisse.
Wartung und Weiterentwicklung der Lösung müssen langfristig planbar sein – die technische Weiterentwicklung zielt dabei auf eine flexible Integration und eine unkomplizierte Nutzung in bestehenden Systemlandschaften ab.
Mit dem PoC konnten wir das Potenzial von KI im Testumfeld belegen – und erste konkrete Mehrwerte sichtbar machen. Durch unseren Workflow-Ansatz machen wir den Einsatz von KI zu einem produktiven Bestandteil moderner Testprozesse. Die nächsten Schritte hierzu sind:
Gemeinsam mit unseren Kunden entwickeln wir den Ansatz kontinuierlich weiter – mit dem Ziel, datenbasierte Optimierungen vorzunehmen, die Performance zu steigern, Erkenntnisse aus unseren PoCs umzusetzen, neue Erkenntnisse zu gewinnen und zusätzliche Anwendungsszenarien zu erschließen. Unsere KI-Lösungen sind praxisnah entwickelt: Sie adressieren reale Herausforderungen im Testalltag und sind weit mehr als nur Marketing-Buzzwords. Unsere langjährige Test-Expertise fließt direkt in die Entwicklung und sorgt dafür, dass unsere KI dort ansetzt, wo sie echten Mehrwert schafft.
Unser PoC zeigt: KI entlastet gezielt Business- und Fachexperten, stärkt ihre Rolle sowie ihre Bewertungsfähigkeit und trägt dazu bei, den Software-Engineering-Prozess standardisierter und schlanker zu gestalten. Gleichzeitig verbessert sie die Qualität der Testfälle messbar – für mehr Effizienz und Verlässlichkeit im gesamten Testprozess.
Dabei geht es nicht um theoretische Konzepte, sondern um konkrete, umsetzbare Lösungen aus der Praxis. Wichtig ist, nicht nur zu experimentieren, sondern Ergebnisse zu liefern. Genau das haben wir getan – mit messbarem Erfolg.