Was ist ein Testfall?
Testfälle sind eine Reihe dokumentierter Aktionen, quasi die Anleitungsschritte, welche die Beobachtung und Analyse einer bestimmten Softwareanforderung steuern. Ein formeller Testfall verwendet einen positiven und einen negativen Test pro Anforderung.
Weitere Informationen zu allen Konzepten im Zusammenhang mit Testfällen, einschließlich des richtigen Testfallformats, Tipps zur Erstellung eines guten Testfalls und weiteren Informationen zu positiven Testfällen und Tests, finden Sie in diesem Leitfaden zu den Grundlagen von Testfällen.
Was sind Negativtests?
Bei Softwaretests beziehen sich Positivtests auf den Prozess des Testens eines zu testenden Systems (System under Test/SUT) oder einer zu testenden Anwendung (Application under Test/AUT), indem das erwartete Verhalten anhand einer Anforderung bewertet wird. Negativtests, manchmal auch als Fehlertests oder Fehlerpfadtests bezeichnet, sind eine Praxis für das Finden von nützlichem Feedback, wenn etwas schief geht.
Negativtests verwenden ungültige Eingabedaten oder unerwünschtes Benutzerverhalten, um auf unerwartete Systemfehler zu überprüfen. Anders ausgedrückt: Ein Tester nimmt ungültige Eingaben und testet die Benutzeroberfläche einer Webanwendung (der häufigste Anwendungsfall von Negativtests) in der Erwartung, dass etwas Unerwartetes stattfindet. In diesem Verfahren wird versucht, herauszufinden, was unter widrigen Bedingungen mit der AUT passiert.
Was ist der Zweck von Negativtests?
Negativtests sind eine Qualitätskontrollpraxis, die in der Softwareentwicklung eine vollständige Testabdeckung sicherstellt. Durch den gezielten Versuch, ein SUT abstürzen zu lassen oder durch die Verwendung schlechter Daten, um unbekannte Fehler (Bugs) zu finden, entdeckt ein Tester oder Entwickler Möglichkeiten, wie das SUT stabiler und zuverlässiger sein kann. Indem er nachweist, was die Software nicht tun oder akzeptieren sollte, überprüft der Tester, ob der Code den Anforderungen entspricht.
Was ist ein negativer Testfall?
Ein negativer Testfall wird "geschrieben, um etwas zu beweisen, was die Software nicht tun oder akzeptieren sollte", sagt Neil Price-Jones, Präsident von NVP Software Solutions. Er fügt hinzu: "Negative Testfälle stellen sicher, dass ein Benutzer, der etwas ausprobiert, das im Design oder in der Codierung nicht berücksichtigt wurde, die richtige Antwort oder Fehlermeldung erhält oder zumindest nicht an einen Ort gelangen kann, an dem er nicht sein sollte."
Was ist der Unterschied zwischen Positiv- und Negativtests und zerstörenden Prüfungen?
Negativ- und Positivtests sind gleichzeitige Aktivitäten, die mit einem Testfall dokumentiert werden. „Ein positiver Testfall stellt sicher, dass ein Aspekt der Anforderungen oder des Designs wie vorgesehen funktioniert. Negative Testfälle überprüfen alles andere“, sagt Price-Jones.
Ein weiterer Begriff im Zusammenhang mit Negativtests ist zerstörende Prüfung, die laut Price-Jones „im Rahmen negativer Testfälle durchgeführt werden kann (und sollte, wenn Sie alles, was Sie getan haben, dokumentieren und Beweise dazu liefern müssen) oder einfach als Versuch dienen kann, die Software mit allen Mitteln kleinzukriegen.“
Bei einer webbasierten Anwendung ist es beispielsweise üblich, dass der Benutzer aufgefordert wird, das Textfeld „Kennwort“ mit einer bestimmten Anzahl an Zeichen (z. B. mehr als sechs und weniger als 12) zu füllen. Bei Positivtests gibt der Tester Kennwörter mit passender Länge ein. Bei entsprechenden Negativtests gibt der Tester Kennwörter ein, die diese Parameter nicht erfüllen (z. B. weniger als sechs, mehr als 12 oder null Zeichen), um zu testen, wie die AUT reagiert. Diese Art von Negativtests werden als Grenzwertanalysetests bezeichnet.
Negative Testfälle identifizieren
Wie bestimmt man, welche Daten verwendet oder unerwünschten Maßnahmen ergriffen werden sollen, um nützliche negative Testfälle zu erstellen und umzusetzen? Um negative Testfälle zu identifizieren, beginnen Sie mit positiven. Jeder positive Testfall wird erstellt, indem die Geschäfts-/Benutzeranforderungen, Artefakte und Dokumente zum Softwaredesign analysiert werden. Verwenden Sie jedes positive Testfallszenario, um den negativen Testfall zu identifizieren, indem Sie Informationen verwenden, die nicht in den Dokumenten zu finden sind.
Sie müssen Zeit und Ressourcen ausgleichen, um die Softwareanforderungen zu erfüllen. Negativtests stoßen aufgrund von Projektzeitplänen, der Verfügbarkeit qualifizierter Mitarbeiter, Releaseterminen und Budgets auf Widerstand. Softwaretester nutzen ihre Erfahrung und Intuition, um zu entscheiden, wie, wann und wo sie Negativtests verwenden und Testfallschritte zu identifizieren, ohne das SUT tatsächlichem Schaden auszusetzen. Es ist nicht praktikabel, ausgiebige Negativtests durchzuführen oder negative Testfälle zu erstellen, die eine perfekte Testabdeckung des SUT bieten.
Vorlage für Testfallplanung und -umsetzung
Verwenden Sie diese Vorlage für die Testfallplanung und -umsetzung, um Testpläne für Ihr Softwareentwicklungsprojekt zu entwerfen, Testfallschritte durchzuführen und Testdaten zu analysieren. Sie wurde entwickelt, um Tests nach Test-ID und Namen nachzuverfolgen, jede Phase eines Tests zu identifizieren, Prioritätsstufen und Notizen hinzuzufügen und tatsächliche und erwartete Ergebnisse miteinander zu vergleichen.
Vorlage für Testfallplanung und -umsetzung herunterladen
Negativen Testfall entwerfen
Wenn bei Softwaretests die Menge möglicher Inputs zu groß für eine vollständige, kostengünstige Testabdeckung ist, ist ein rechtwinkliges Array ein effizientes Modell für die Gestaltung negativer Testfälle (also das Finden von Softwarefehlern und Eliminieren wiederholter Tests). Dieses Modell wird häufig für Benutzeroberflächentests, Regressionstests und Leistungstests der SUT verwendet.
Neil Price-Jones begegnet der Gestaltung negativer Testfälle mit einem systematischen Ansatz: „Eine Möglichkeit besteht darin, sich den Ablauf einer Transaktion in einem standardmäßigen Geschäftsszenario rechtwinklig vorzustellen und dann darüber nachzudenken, was bei jedem Schritt dieses Prozesses schiefgehen kann.“
„Wenn Sie die Transaktion als von links nach rechts ablaufende Schritte betrachten (also auf lineare Weise), dann können Sie sie (sowohl positiv als auch negativ) testen, indem Sie jeden Schritt von oben betrachten und sehen, was das Positive (was die Transaktion zum nächsten Schritt übergehen lässt) und das Negative (was verhindert, dass die Transaktion zum nächsten Schritt übergeht) ist“, erklärt Price-Jones.
Format eines negativen Testfalls
Positive und negative Testfälle haben das gleiche Format, das in der Regel die folgenden Attribute umfasst:
Testfallbeschreibung
Testeinrichtung
Testfall-ID
Testszenario
Schritte des Negativtests
Daten des Negativtests
Erwartete Ergebnisse
Tatsächliche Ergebnisse
Bestätigung für Erfolg/Fehlschlag
Zusätzliche Kommentare
Negativen Testfall erstellen
Einfach gesagt erstellen Sie einen negativen Testfall, indem Sie die ungültigen Eingabedaten oder das unerwünschte Benutzerverhalten auswählen, das Sie durch die Durchführung positiver Testfallschritte erhalten. Price-Jones empfiehlt, mit den Kriterien für positive Testfälle zu beginnen, die Sie mittels Testszenarien einer Geschäftsanforderung definieren.
„Beginnen Sie mit den definierten und eingeschlossenen Dingen und berücksichtigen Sie dann alle anderen Möglichkeiten, indem Sie Techniken für das Testdesign verwenden. Manchmal nenne ich das Variationen eines Motivs“, sagt er.
Wie ein positiver Testfall ist auch ein negativer Testfall ein einzelner durchführbarer Test, den Sie entweder mithilfe von Tabellenkalkulationen oder Testmanagementsoftware dokumentieren. Ein Standardformat für die Testfalldokumentation zu haben, hilft auf folgende Weise:
Es spart Zeit.
Es macht jeden Testfall für mehrere Stakeholder unabhängig von ihren technischen Kenntnissen zugänglich.
Es kann für ähnliche Testplanszenarien wiederverwendet werden.
Es hilft, die gesamte Kommunikation innerhalb der Test- und Entwicklungsteams zu optimieren.
Eine detailliertere Aufschlüsselung der Attribute negativer Testfälle und eine Schritt-für-Schritt-Anleitung zum Erstellen eines Testfalls in Microsoft Excel finden Sie im Artikel „So erstellen Sie Testfälle: Der umfassende Leitfaden“.
Beispiele für negative Testfälle für eine Anmeldeseite
Price-Jones erinnert sich an eine Zeit, als er sich mit Negativtests an einer Anmeldeseite vergnügte: „Einmal habe ich die Anmeldung einer öffentlich zugänglichen Anwendung getestet, bei der ich nach drei falschen Versuchen tatsächlich in die Software gelangt bin (anstatt für 30 Minuten gesperrt oder gezwungen zu werden, das Kennwort zurückzusetzen). Der Programmierer hatte die Seite so eingerichtet, dass man nach drei falschen Versuchen reingelassen wurde, anstatt abgelehnt zu werden."
Die folgenden Beispiele für negative Testfälle gelten für positive Testfälle, welche die erwarteten Ergebnisse für die AUT-Anmeldeseite liefern, wenn die richtige Benutzer-ID und das richtige Kennwort verwendet werden:
Leere Benutzer-ID mit leerem Kennwort
Richtige Benutzer-ID mit falschem Kennwort
Falsche Benutzer-ID mit richtigem Kennwort
Falsche Benutzer-ID mit falschem Kennwort
SQL-Eingabe in Kennwort
SQL-Eingabe in Benutzer-ID
SQL-Eingabe in beiden Feldern
Testfallvorlage für SQL-Server-Integrationsdiensttests
Mit dieser detaillierten Vorlage für Testfälle können Sie alle SQL-Server-Integrationsdienste verwalten, testen und nachverfolgen. Verwenden Sie die Vorlage, um Funktionsaktualisierungen zu testen und sicherzustellen, dass alle Programmier- und Datenmanagementsysteme korrekt funktionieren.
Testfallvorlage für SQL-Server-Integrationsdiensttests herunterladen
Excel
Beispiele für negative Testfälle für den Zugriff auf drahtlose Netzwerke
Die folgenden Beispiele für negative Testfälle gelten für positive Testfälle, welche die erwarteten Ergebnisse liefern, wenn der richtige Netzwerksicherheitsschlüssel (Kennwort) verwendet wird und die Nutzungsbedingungen akzeptiert wurden:
Der Zugriff sperrt das Netzwerk mit einer ungültigen Schlüsseleingabe.
Der Zugriff sperrt das Netzwerk ohne Sicherheitsschlüssel.
Geben Sie einen ungültigen Code oder ungültige Zeichen in das Schlüsselfeld ein.
Beispiele für negative Testfälle für die Verbindung von Bluetooth-Geräten
Die folgenden Beispiele für negative Testfälle gelten für positive Testfälle, welche die erwarteten Ergebnisse liefern, wenn ein Bluetooth-Gerät erkannt oder mit gültigen Daten gekoppelt wird und ein erfolgreicher Verbindungsbereich aufgebaut wird:
Einen falschen Code eingeben und die Verbindung fehlschlagen lassen.
Den Vorgang mit beiden Geräten nacheinander wiederholen.
Bluetooth bei jedem Gerät separat ausschalten.
Die Verbindung zwischen den Geräten wiederherstellen.
Inkompatible Geräte testen.
Mit eingeschränkten Geräten testen (solchen, die Verbindungen einschränken).
Beispiele für negative Testfälle für Online-Einkaufswägen
Die folgenden Beispiele für negative Testfälle gelten für positive Testfälle, welche die erwarteten Ergebnisse liefern, wenn es genügend Inventar, eine gültige Zahlungsmethode und eine Bestätigung des Zahlungsanbieters sowie mehrere Artikel im Warenkorb gibt:
Mehr als den verfügbaren Bestand kaufen. (Price-Jones sagt: „Viele Einkaufswägen decken diesen Fall mit der Anforderung, Sie entweder darüber zu informieren, dass der Artikel nicht verfügbar ist, oder durch Einrichtung einer Nachbestellung ab, sodass man sagen könnte, dass es sich um einen positiven Fall handelt.“)
Mehrere Artikel kaufen, von denen einige nicht verfügbar sind.
Kaufen und die Meldung „Zahlung fehlgeschlagen“ erhalten.
Kaufen und die Meldung „Versandort fehlgeschlagen“ (bzw. „Versand an Ihren Standort nicht möglich“).
Den Kauf zu einem beliebigen Zeitpunkt des Prozesses abbrechen.
Zu einem beliebigen Zeitpunkt des Kaufprozesses die Verbindung abbrechen.
Beispiele für negative Testfälle für Kreditkartenzahlungen
Price-Jones nennt das folgende Beispiel für Schritte in einem negativen Testfall für ein Kreditkartenzahlungsformular, wenn die Eingaben des positiven Testfalls die richtige Kreditkartennummer, die richtige Kartenprüfnummer, der richtige Name und die richtige Rechnungsadresse sind:
Falsche Prüfziffern
Falsche Zahl mit den falschen Ziffern
Ungültige Rechnungsadresse
Ungültige Kartenprüfnummer
Ungültiger Name
Verwaltung negativer Testfälle: Manuelle oder automatisierte Tests?
Negativtests sind in erster Linie eine manuelle Aktivität und werden traditionell mithilfe von Tabellenkalkulationen verwaltet. Mit Testautomatisierungssoftware können Sie mit Tools arbeiten, mit denen Sie anhand gültiger und ungültiger Daten negative Testfälle erstellen können, um die Testabdeckung der AUT mit positiven und negativen Testszenarien zu verbessern. Der Prozess der Bestimmung, wann Negativtests automatisiert werden sollen oder wann manuelle Negativtests verwendet werden sollen, hängt von der Testplanung, den Geschäfts- oder Benutzeranforderungen, der Verfügbarkeit qualifizierter Softwaretester und dem Budget ab.
Tester können automatisierte Testskripte (d. h. Softwarecode) manuell erstellen, um Testfallschritte zu unterstützen, die eine große Menge an Eingabedaten erfordern, oder sie können Tools für das Testmanagement verwenden, um wiederverwendbare automatisierte Skripte einzurichten. Softwarelösungen wie TestComplete und Selenium bieten automatisiertes Testskriptmanagement, Versionskontrolle und Reporting-Funktionen für verschiedene Anforderungen. Zu den am häufigsten beworbenen Vorteilen dieser Lösungen gehören Vorlagen für Testfälle, Testversionen, automatisierte Fehlerverfolgung mit E-Mail-Benachrichtigungen an zugewiesene Entwickler, kontrollierter Gemeinschaftszugriff, nach Anforderung nachverfolgbare Testabdeckung und Cloud-Sicherungsspeicher.
Vorlage für manuelle Testfälle
Negative Testfälle von Grund auf neu zu erstellen ist ein zeitaufwendiges Unterfangen, da sich das SUT ständig verändert. Verwenden Sie diese Vorlage für manuelle Testfälle, um Schritte von Negativtests zu dokumentieren, erwartete Ergebnisse mit tatsächlichen Ergebnissen zu vergleichen und zu bestimmen, wann ein Test ein Erfolg bzw. Misserfolg ist. Sie wurde entwickelt, um jeden Schritt in Negativtests, die Test-ID und den Namen sowie zusätzliche Notizen, die während der Analyse zu berücksichtigen sind, manuell zu erfassen.
Vorlage für manuelle Testfälle herunterladen
Vorlage für Automatisierungstestfälle
Verwenden Sie diese Vorlage für Automatisierungstestfälle, um den Erfolg oder Misserfolg automatisierter Softwaretests zu überprüfen. Laden Sie dieses Formular herunter und füllen Sie es aus, um den Testnamen, die Test-ID, die Testdauer, jeden Schritt und jede Komponente sowie sämtliche Bemerkungen zum Test, einschließlich der automatisierten Testskripte, zu dokumentieren.
Vorlage für Automatisierungstestfälle herunterladen
Falsche Positive und Negative bei Negativtests
Bei Softwaretests bezieht sich ein falsch positives Ergebnis auf einen fehlgeschlagenen Testfall, der auftritt, obwohl kein Fehler vorliegt und das SUT ordnungsgemäß funktioniert. Wenn ein Testfall erfolgreich ist, aber ein Fehler im SUT vorliegt, wird das Ergebnis als falsch negatives Ergebnis bezeichnet. Manuelle Negativtests, wie Sanity-Tests (Durchläufe, die sicherstellen sollen, dass ein bestimmter Aspekt der Software ungefähr wie erwartet funktioniert) und Tests für umgekehrte Fälle (das Ergebnis eines erfolgreichen Testfalls zum Scheitern zwingen) helfen Ihnen, falsch positive Ergebnisse zu vermeiden.
Um vor der Integration automatisierter Testskripte oder von Tools für die Automatisierung falsche Ergebnisse zu reduzieren, sollten Sie während der Testplanung und bei der Erstellung negativer Testfälle die richtigen Maßnahmen ergreifen. Verwenden Sie eine Vorlage, die automatisierte Testskripte berücksichtigt, die speziell zur Vermeidung falsch positiver oder negativer Testfälle entwickelt wurden.
Testfallvorlage für Benutzerabnahmetests
Laden Sie diese umfassende Testfallvorlage für Benutzerabnahmetests herunter, um sicherzustellen, dass sie mit dem SRS-Dokument übereinstimmt und alle angegebenen Anforderungen erfüllt. Das Dokument wurde entwickelt, um einzelne Anwendungen, Umsetzungsschritte sowie erwartete und tatsächliche Ergebnisse nachzuverfolgen.
Testfallvorlage für Benutzerabnahmetests herunterladen
Mit Smartsheet für die Softwareentwicklung negative Testfälle verbessern
Befähigen Sie Ihr Team, über sich selbst hinauszuwachsen – mit einer flexiblen Plattform, die auf seine Bedürfnisse zugeschnitten ist und sich anpasst, wenn sich die Bedürfnisse ändern. Mit der Plattform von Smartsheet ist es einfach, Arbeiten von überall zu planen, zu erfassen, zu verwalten und darüber zu berichten. So helfen Sie Ihrem Team, effektiver zu sein und mehr zu schaffen. Sie können über die Schlüsselmetriken Bericht erstatten und erhalten Echtzeit-Einblicke in laufende Arbeiten durch Rollup-Berichte, Dashboards und automatisierte Workflows, mit denen Ihr Team stets miteinander verbunden und informiert ist. Es ist erstaunlich, wie viel mehr Teams in der gleichen Zeit erledigen können, wenn sie ein klares Bild von der geleisteten Arbeit haben. Testen Sie Smartsheet gleich heute kostenlos.