ISTQB Certified Tester - Testing with Generative AI

Grundlagen von Generative AI

• Grundbegriffe der Künstlichen Intelligenz

• Generative AI und ihre Anwendungsbereiche

• Large Language Models

• Wahrscheinlichkeitsbasierte Textgenerierung

• Tokens, Kontextfenster und Modellparameter

• Training und Nutzung vortrainierter Modelle

• Unterschiede zwischen klassischen und generativen KI-Systemen

• Stärken und Grenzen von Large Language Models

Generative AI im Softwaretest

• Einsatzmöglichkeiten entlang des Testprozesses

• Unterstützung bei Testanalyse und Testentwurf

• KI-gestützte Erstellung von Testartefakten

• Automatisierung wiederkehrender Testaufgaben

• Analyse großer Mengen an Testinformationen

• Unterstützung bei Dokumentation und Reporting

• Menschliche Kontrolle von KI-Ergebnissen

• Auswahl geeigneter GenAI-Anwendungsfälle

Prompt Engineering

• Aufbau wirksamer Prompts

• Ziele, Kontext und Rollen eindeutig beschreiben

• Eingabeinformationen und Einschränkungen definieren

• Erwartete Ausgabeformate vorgeben

• Zero-Shot-, One-Shot- und beispielbasierte Prompts

• Prompts schrittweise verbessern

• Ergebnisse vergleichen und bewerten

• Wiederverwendbare Prompt-Vorlagen entwickeln

• Prompt Libraries für Testteams aufbauen

GenAI in der Anforderungsanalyse

• Anforderungen analysieren und zusammenfassen

• Unklare oder widersprüchliche Anforderungen erkennen

• Akzeptanzkriterien generieren

• User Stories prüfen und verbessern

• Testbedingungen aus Anforderungen ableiten

• Risiken und fehlende Informationen identifizieren

• Rückfragen an Stakeholder vorbereiten

• Nachvollziehbarkeit zwischen Anforderungen und Tests unterstützen

KI-gestützter Testentwurf

• Testfälle mit GenAI erstellen

• Positive und negative Tests generieren

• Grenz- und Ausnahmefälle identifizieren

• Testideen für funktionale und nicht-funktionale Anforderungen

• Testfälle überprüfen und optimieren

• Redundante oder unvollständige Testfälle erkennen

• Testabdeckung fachlich bewerten

• KI-Ergebnisse mit etablierten Testverfahren kombinieren

Generierung von Testdaten

• Synthetische Testdaten mit GenAI erstellen

• Unterschiedliche Datenvarianten generieren

• Fehlerhafte und extreme Eingabedaten erzeugen

• Personenbezogene Daten vermeiden

• Datenschutzgerechte Testdaten entwickeln

• Datenqualität und Plausibilität prüfen

• Repräsentativität synthetischer Daten bewerten

• Risiken künstlich erzeugter Daten berücksichtigen

Testautomatisierung mit GenAI

• Automatisierungsskripte generieren

• Bestehenden Testcode analysieren und verbessern

• Code erklären und dokumentieren

• Testwartung durch KI unterstützen

• Fehler in Automatisierungsskripten identifizieren

• GenAI in CI/CD- und DevOps-Prozesse integrieren

• KI-Assistenten für Test Automation Engineers

• Menschliche Reviews von KI-generiertem Code

Testdurchführung, Fehleranalyse und Reporting

• Testergebnisse zusammenfassen

• Protokolle und Logdateien analysieren

• Fehlerbilder kategorisieren

• Defect Reports erstellen und verbessern

• Reproduktionsschritte formulieren

• Ursachenhypothesen entwickeln

• Teststatusberichte generieren

• Informationen zielgruppengerecht aufbereiten

• KI-generierte Berichte fachlich validieren

Risiken und Grenzen von Generative AI

• Halluzinationen

• Fehlerhafte Schlussfolgerungen

• Unvollständige und ungenaue Antworten

• Bias und diskriminierende Ergebnisse

• Veraltete oder ungeeignete Trainingsinformationen

• Übermäßiges Vertrauen in KI-Ausgaben

• Fehlende Transparenz und Nachvollziehbarkeit

• Datenschutz und Vertraulichkeit

• Schutz von Geschäfts- und Kundendaten

• Urheberrecht und geistiges Eigentum

• Sicherheitsrisiken durch manipulierte Eingaben

Bewertung KI-generierter Ergebnisse

• Korrektheit und Relevanz beurteilen

• Vollständigkeit prüfen

• Konsistenz verschiedener Antworten vergleichen

• Qualitätskriterien und Bewertungsmaßstäbe definieren

• Manuelle Reviews und Kontrollmechanismen

• Ergebnisse reproduzierbar dokumentieren

• Geeignete Metriken einsetzen

• Human-in-the-Loop-Prinzip

• Verantwortlichkeiten für Freigabe und Nutzung

LLM-basierte Testinfrastrukturen

• Grundlagen von Retrieval-Augmented Generation

• Interne Wissensquellen mit LLMs verbinden

• Vektordatenbanken und semantische Suche

• Fine-Tuning und alternative Anpassungsmöglichkeiten

• LLMOps für Entwicklung und Betrieb

• Modell-, Prompt- und Versionsmanagement

• Überwachung von Kosten, Qualität und Nutzung

• KI-Assistenten im Testprozess

• LLM-basierte Agenten

• KI-Agenten in Testautomatisierungsabläufen

Organisatorische Einführung von GenAI

• Geeignete Anwendungsfälle priorisieren

• Nutzen, Kosten und Risiken bewerten

• Pilotprojekte planen

• Rollen und Verantwortlichkeiten definieren

• Kompetenzen in Testteams entwickeln

• Richtlinien für die sichere Nutzung erstellen

• Datenschutz und Informationssicherheit berücksichtigen

• Akzeptanz bei Mitarbeitenden fördern

• GenAI in bestehende Testprozesse integrieren

• Erfolg und Qualitätsverbesserungen messen

• Kontinuierliche Anpassung der KI-Strategie

Praktische Übungen

• Prompts für typische Testaufgaben erstellen

• Testfälle und Akzeptanzkriterien generieren

• Synthetische Testdaten entwickeln

• KI-generierte Ergebnisse bewerten

• Halluzinationen und Bias erkennen

• Prompts systematisch optimieren

• Ergebnisse unterschiedlicher KI-Anwendungen vergleichen

• Anwendungsmöglichkeiten für das eigene Unternehmen entwickeln

Prüfungsvorbereitung

• Wiederholung der prüfungsrelevanten Themen

• Erläuterung des CT-GenAI-Prüfungsformats

• Bearbeitung von Multiple-Choice-Fragen

• Abgrenzung wichtiger Fachbegriffe

• Typische Prüfungsfallen erkennen

• Wissenskontrollen und Beispielaufgaben

• Zeitmanagement während der Prüfung

Die Lerninhalte orientieren sich an den offiziellen Themenfeldern GenAI- und LLM-Grundlagen, Prompt Engineering, KI-gestützter Testprozess, Risikomanagement, LLM-Infrastrukturen und organisatorische Einführung.