Automatisierte Tests sind zu einem wesentlichen Bestandteil in der Softwareentwicklung geworden. Sie stellen sicher, dass Applikationen ihre definierten Qualitätsstandards erfüllen. Katalon Studio ist inzwischen ein beliebtes und weit verbreitetes Tool zur Testautomatisierung, während Xray eine führende Testmanagementlösung für JIRA Benutzer ist. Durch die Verbindung dieser beiden Tools wird der Testprozess optimiert. Die Testergebnisse aus Katalon werden in Xray importiert, um das gesamte Testmanagement und die Berichterstellung zu verbessern. Mit diesem Blog soll aufgezeigt werden, wie einfach es möglich ist die Katalon-Testergebnisse in Xray darzustellen und dadurch ein verbessertes Testmanagement und eine bessere Rückverfolgbarkeit zu erreichen.
READ MORE

Jira Testmanagment Plug-in Xray oder Zephyr ?

In eine bestehende Jira Umgebung wird neu ein Testmanagement Plug-In eingeführt.
Dafür werden als breit eingeführte Lösungen die Plug-Ins Zephyr und Xray gegenübergestellt.

Die folgende Tabelle zeigt eine Übersicht der wichtigsten Eigenschaften:

Erfahrung mit dem Testmanagement Plug-in Xray

Der Kunde hat sich schliesslich für Xray (Serverbasiert) entschieden. Gründe dafür: Xray ist die modernere Variante, die Abfrage mit nativer JQL ist bereits bekannt.

Eine erste Bilanz zeigt, dass sich nach einem knappen Jahr Produktivbertrieb mit Xray der Einsatz bewährt hat.
Die Unterteilung in Tests, Test Sets, Test Executions und Pre-Condions wirkt auf den ersten Blick etwas verwirrend.
Für was braucht es die Test Sets?
Die Test Sets müssen nicht zwingend verwendet werden, aber sie sind  durchaus hilfreich um gleichartige Tests zu gruppieren. Damit sind themenspezifische Testausführungen (Testexecutions) sehr einfach möglich.
Die Integration in Jira ist annähernd nahtlos, allerdings bringt Jira auch schon die Kategorie “Test” von sich aus mit. Dies ist verwirrend und hat dazu geführt, dass die Xray Tests in Test Case umbenannt wurden, damit diese sauber unterscheidbar sind.

Eine Anknüpfung an automatisierte Testwerkzeuge wurde nicht durchgeführt und kann daher nicht bewertet werden.

Etwas befremdend ist die Art wie Tests exportiert bzw. importiert werden. Exportiert werden XML Dateien, dies funktioniert aber nur in der Export Funktion im Testmenü und nicht mit dem Export im Jira Menü. Importiert wird aber nicht via XML Datei sondern per CSV oder Json. Somit sind einige Zusatzschritte nötig um Tests in einem externen Werkzeug zu bearbeiten.

Insgesamt ist Xray eine brauchbare Lösung für das Testmangement mit Jira.