KI im Praxistest: Unser Proof of Concept zeigt, wie zukunftsfähiges Testing funktioniert

Während viele noch diskutieren, wie Künstliche Intelligenz Testing-Prozesse verbessern könnte, haben wir gehandelt: Mit einem erfolgreichen Proof of Concept (PoC) zeigen wir, wie KI schon heute konkrete Mehrwerte für Qualitätssicherung und Effizienz im Softwaretesting liefert.

Mit unserem erfolgreichen Proof of Concept (PoC) zeigen wir, wie KI schon heute konkrete Mehrwerte für Qualitätssicherung und Effizienz im Softwaretesting liefert. Das Ziel: Testfälle automatisiert und qualitätsgesichert mit Hilfe von KI erzeugen – und so Zeit, Ressourcen und Fehlerkosten deutlich reduzieren.

Mit unserem PoC zeigen wir, das Qualitätssicherung mit KI gelingt

Die Ausgangslage ist in vielen Unternehmen ähnlich:

• In einem zunehmend komplexen Systemumfeld stoßen viele Organisationen im Testing an Kapazitätsgrenzen.

• Fachliches Know-how aus dem Business steht nur punktuell zur Verfügung, obwohl es für gute Tests unerlässlich ist.

• Die Erwartungen an eine hohe Testabdeckung und effiziente Testprozesse steigen im Softwareentwicklungsprozess kontinuierlich.

Klassische, manuelle Testfallerstellung stößt dabei schnell an ihre Grenzen – sowohl hinsichtlich Effizienz als auch hinsichtlich Fehlervermeidung. Unser Ziel war es daher, zu prüfen, inwieweit ein KI-gestützter Workflow die Erstellung und Bewertung von Testfällen unterstützen kann. Wichtig war uns dabei ein konkreter Anwendungsfall mit echten Daten und messbaren KPIs.

So funktioniert unser KI-basierter Workflow

Auf Basis unseren QESTIT KI Workflow Framework konfigurieren wir einen durchgängigen Workflow, bei dem die Schritte der Testfallerstellung automatisiert durch zwei Large Language Models (GPT-4o-mini, MistralAI) durchgeführt werden:

1. 1. Verarbeitung von Fach- und User-Dokumentation: Entwicklung des Verständnis der Anforderung und des Systems zur Testfallerzeugung. 

2. Testfallgenerierung basierend auf kontextuellen Prompts: Ableitung passender Testfälle auf Grundlage der analysierten Informationen.

3. Qualitätsprüfung durch automatisierte Bewertung und Reduktion von Redundanzen: Optimierung der Testfälle und Sicherstellung der Layout- und Strukturvorgaben.

4. Ableitung von Erkenntnissen zur Übertragbarkeit auf weitere Use Cases: Skalierung des Ansatzes

Der Workflow wurde in einem realen Anwendungskontext erprobt und lässt sich flexibel auf andere Systeme und Prozesse übertragen.

Erste Ergebnisse: Qualität, Effizienz und Abdeckung steigen

Die Ergebnisse des PoC sprechen eine klare Sprache:

• 50 % der generierten Testfälle waren direkt fachlich verwertbar

• 40 – 50 % höhere Testabdeckung im Vergleich zur manuellen Erstellung

• Deutliche Zeitersparnis bereits ab einer Testfallanzahl von 5 oder mehr

• Effizienzvorteile gegenüber generischen KI-Ansätzen, die nur auf statischem Prompting basieren

Ein besonders aufschlussreicher Test war der Einsatz des KI-Workflows mit einem neuen, zuvor nicht verwendeten Anwendungsszenario. Trotz fehlender individueller Anpassung an diesen Kontext konnte das System auf Anhieb qualitativ hochwertige Testfälle erzeugen. Das zeigt: Unser Ansatz ist nicht auf Einzelfälle beschränkt, sondern lässt sich auf weitere Systeme und Prozesse übertragen.

Herausforderungen und Learnings aus dem PoC

Trotz der positiven Ergebnisse brachte der PoC auch wichtige Erkenntnisse mit Blick auf notwendige Rahmenbedingungen und Grenzen:

• Veraltete oder unvollständige Dokumentationen führen zu Fehlern – eine hohe Qualität der Informationen ist daher essenziell. Gerne unterstützen wir hier mit verschiedenen KI-Utilities zur Bewertung und Optimierung der Dokumentationsqualität – beispielsweise durch automatische Tabellenoptimierung oder die automatische Trennung unstrukturierter Dokumente.

• Ohne Optimierung der Dokumentation war der Ressourcenverbrauch und die Menge an unbrauchbaren Informationen und Formatierungen sehr hoch. Durch KI gestütze Optimierungen kann der Ressourcenverbrauch effizient optimiert werden. Dies führt auch zu einer besseren Qualität der KI-generierten Ergebnisse.

• Wartung und Weiterentwicklung der Lösung müssen langfristig planbar sein – die technische Weiterentwicklung zielt dabei auf eine flexible Integration und eine unkomplizierte Nutzung in bestehenden Systemlandschaften ab.

So geht es weiter: Skalierung und Integration

Mit dem PoC konnten wir das Potenzial von KI im Testumfeld belegen – und erste konkrete Mehrwerte sichtbar machen. Durch unseren Workflow-Ansatz machen wir den Einsatz von KI zu einem produktiven Bestandteil moderner Testprozesse. Die nächsten Schritte hierzu sind:

• Export der Testfälle in Systeme wie Jira
• Kontextsensitive Anbindung an Confluence zur Dokumentationsanalyse
• Übertragung des Workflows auf weitere Systembereiche und Anwendungen
• Integration automatisierter Test-Scripte zur direkten Weiterverwendung

Gemeinsam mit unseren Kunden entwickeln wir den Ansatz kontinuierlich weiter – mit dem Ziel, datenbasierte Optimierungen vorzunehmen, die Performance zu steigern, Erkenntnisse aus unseren PoCs umzusetzen, neue Erkenntnisse zu gewinnen und zusätzliche Anwendungsszenarien zu erschließen. Unsere KI-Lösungen sind praxisnah entwickelt: Sie adressieren reale Herausforderungen im Testalltag und sind weit mehr als nur Marketing-Buzzwords. Unsere langjährige Test-Expertise fließt direkt in die Entwicklung und sorgt dafür, dass unsere KI dort ansetzt, wo sie echten Mehrwert schafft.

Fazit

Unser PoC zeigt: KI entlastet gezielt Business- und Fachexperten, stärkt ihre Rolle sowie ihre Bewertungsfähigkeit und trägt dazu bei, den Software-Engineering-Prozess standardisierter und schlanker zu gestalten. Gleichzeitig verbessert sie die Qualität der Testfälle messbar – für mehr Effizienz und Verlässlichkeit im gesamten Testprozess.

Dabei geht es nicht um theoretische Konzepte, sondern um konkrete, umsetzbare Lösungen aus der Praxis. Wichtig ist, nicht nur zu experimentieren, sondern Ergebnisse zu liefern. Genau das haben wir getan – mit messbarem Erfolg.