Top 10 Web UI Test Tools: Automatisierte Web-UI-Tests

Lesedauer: 10 Minuten

In den letzten Jahren sind mindestens ein Dutzend brandneue Tools zur Automatisierung von UI-Tests aufgetaucht. Da jedes Tool seinen eigenen Schwerpunkt und seine eigene Strategie hat, ist es oft schwer zu wissen, wo man anfangen soll. Suchen Sie nach weiteren Anhaltspunkten? Schauen Sie sich die 10 besten Web-UI-Test-Tools unten an.

Top 10 Automatisierte Web-UI-Test-Tools

Wie jeder UI-Tester bestätigen kann, ist das Testen der Benutzeroberfläche relativ einfach, solange sich nichts an der Benutzeroberfläche ändert, aber das Problem ist, dass sich die Dinge ständig ändern. Je nach der Lösung, die Sie für UI-Tests gewählt haben, können veränderte Bedingungen entweder eine revolutionäre Erfahrung mit Selbstheilung und KI-Lokalisatoren sein oder ein abgrundtiefes Scheitern von verworrenen manuellen Workflows.

In dem Bestreben, das Erstere gegenüber dem Letzteren zu erreichen, habe ich die 10 besten UI-Test-Tools überprüft, die Sie sich ansehen sollten.

1. Parasoft Selenic
2. Katalon
3. Selenium IDE
4. mabl
5. TestIM
6. Functionize
7. Perfecto
8. TestCraft
9. Squish
10. AutonomIQ

Ich habe hier auch einige gute Fragen gestellt, die man sich bei der Bewertung von UI-Test-Tools stellen sollte, um sicherzugehen, dass Sie am Ende ein Tool haben, das zu Ihnen passt und das Ihre Anforderungen erfüllt.

Für welches Tool Sie sich auch entscheiden, alle diese UI-Testing-Tools haben großartige Usability-Funktionen und stellen die Benutzererfahrung in den Vordergrund.

Parasoft Selenic

Gestaltet für: Bestehende (oder neue) Selenium-Benutzer, die zu viel Zeit mit dem Erstellen, Aktualisieren und Warten ihrer UI-Tests verbringen. Auch für diejenigen, die nicht an ein herstellerspezifisches Tool gebunden sein wollen.

Preisgestaltung: Jahresabonnement für Projekte und/oder Teams

Pros:

• Smart Recorder macht es einfach, Selenium-Tests zu erstellen, die das Seitenobjektmodell verwenden
• Kann selbstSelbstheilung für bestehende Selenium-Tests und empfiehlt Smart Locators für bestehende Selenium-Tests
• Integriert sich direkt in Ihre CI/CD-Pipeline, indem es Ihre bestehenden Selenium-Skripte nutzt oder neue Selenium-Skripte erstellt
• Bietet eine Test Impact-Analyse-Technologie, um automatisch zu erkennen, welche Selenium-Tests in der CI/CD-Pipeline ausgeführt werden müssen, um neue Code-Änderungen zu validieren
• Bietet Kundenunterstützung auf jeder Ebene (nicht nur für Unternehmen)
• BDD unterstützt (Cucumber). Konzentriert sich auf die Wartung des zugrundeliegenden Java (JUnit und TestNG) Selenium-Testcodes

Kontra:

• Es gibt keine kostenlose Lizenz für dieses kommerzielle Angebot, aber eine kostenlose Testversion ist verfügbar.
• Dieses Produkt ist noch relativ neu. Die aktuelle Version unterstützt Java, JUnit 4 & 5, TestNG, Cucumber, Eclipse und IntelliJ. Weitere Unterstützung wird für künftige Versionen in Betracht gezogen.

Key takeaways: KI-gestützte Empfehlungen für Ihre bestehenden Selenium-Tests machen es einfach, diese Lösung sofort zu Ihrer bestehenden Selenium-Praxis hinzuzufügen. Wie in den Gartner Peer Insights nachgewiesen, ist einer der besten Vorteile der Lösung der erstklassige Kundensupport von Parasoft, der unzählige Male ausgezeichnet wurde und seit über 30 Jahren Produktinnovationen im Bereich Softwaretests unterstützt.

Katalon

Geschaffen für: Benutzer, die einen Mittelweg zwischen codierten und codierungslosen Testtools suchen.

Für ein kostenloses Tool bietet Katalon eine Menge und wird häufig von Systemintegratoren für UI-Tests verwendet. Sein Rekorder lässt sich in den Chrome-Browser einbinden, so dass Sie Testfälle generieren können. Anschließend erstellt das Tool diese in der Katalon-IDE unter Verwendung des Seitenobjektmodells, so dass sie in hohem Maße wartbar sind. Sie können Ihre Tests jederzeit direkt in der IDE ausführen oder in viele verschiedene Arten von Testskripten exportieren.

Preise: Kostenlos für die Basisversion von Katalon Studio (mit kostenpflichtigen Plugins, die als Abonnements über den Marktplatz erhältlich sind). Enterprise Support ist verfügbar (kann aber recht teuer werden)

Profis:

• Empfiehlt Smart Locators
• Verwendet das Seitenobjektmodell (aber nur für die Tests, die innerhalb der IDE generiert und verwaltet werden)
• Hat eine Selbstheilungsfunktion (über ein kostenpflichtiges Plugin)
• Fähigkeit, in viele verschiedene Arten von Testskripten zu exportieren
• BDD unterstützt. Feature-Dateien führen Katalon-Testcode aus

Kons:

• Obwohl Sie Ihre Tests als Selenium- und andere Testskripte exportieren können, verlieren Sie nach dem Export die gesamte Benutzerfreundlichkeit von Katalon, und der Export enthält nicht das Seitenobjektmodell, was bedeutet, dass die Tests nur schwer wiederverwendet und gewartet werden können
• Der Kundensupport ist nur auf Unternehmensebene verfügbar, und ist sehr teuer
• Kann nicht direkt in Ihr bestehendes Ausführungsframework integriert werden (verwendet ein proprietäres Framework, mit CI-Integrationen, die als Plugins verfügbar sind)

Schlussfolgerungen: Benutzer können Katalon ohne technische Kenntnisse verwenden und dank der Schlüsselwörter im Programm schnell Testfälle erstellen. Der Einstieg in Katalon Studio ist kostenlos, aber um in den Genuss einiger aufregender innovativer Technologien zu kommen, müssen Sie upgraden oder kostenpflichtige Plugins kaufen.

Selenium IDE

Geschaffen für: Benutzer, die ein UI-gesteuertes Aufzeichnungs- und Wiedergabewerkzeug suchen.
Selenium IDE ist ein Open-Source-Projekt, das die Leistungsfähigkeit von Selenium in einem Chrome-Plug-in nutzt und kostenlos zur Verfügung stellt. Für den Einstieg in Selenium IDE ist außer der Installation der Erweiterung im Browser keine weitere Einrichtung erforderlich, was der Philosophie des Projekts entspricht, ein einfach zu bedienendes Tool mit sofortigem Feedback zu liefern.

Preise: Kostenlos

Pros:

• Benutzer können jeden erstellten Test in ein Skript exportieren, was es zu einem unglaublich leistungsstarken Tool für die Erstellung von UI-Tests macht
• Bietet mehrere Locator-Strategien für jedes Element, das es aufzeichnet
• Hat eine Selbstheilungsfunktion (funktioniert aber nicht bei Selenium-Skripten außerhalb der Selenium-IDE und ist nicht so zuverlässig wie Selbstheilungsfunktionen anderer Lösungen)

Nachteile:

• Passt nicht direkt in Ihren CI/CD-Prozess
• Buggy und eine Blackbox (wenn etwas nicht aufgezeichnet wird, stecken Sie ziemlich fest und müssen in den Code exportieren, um herauszufinden, was los ist)
• Verwendet beim Erstellen von Tests nicht das Seitenobjektmodell
• Während Sie Ihre Tests in viele verschiedene Sprachen exportieren können, gibt es derzeit keine Möglichkeit zum Importieren
• Es werden zwar CI-Integrationen angeboten, aber es ist nicht direkt in Ihr bestehendes Framework integriert
• Keine eingebaute Unterstützung für BDD

Die wichtigsten Erkenntnisse: Die Selenium IDE ist einfach zu bedienen und ermöglicht es Anwendern, schnell Tests für ihre Web-UIs zu erstellen. Sie ist sehr Selenium-freundlich und wird sich für diejenigen, die an das Framework gewöhnt sind, natürlich anfühlen.

mabl

Geschaffen für: Teams, die kein Interesse am Schreiben von Tests haben und keine UI-Testing-Praxis etablieren wollen, was bedeutet, dass Sie den Großteil der Arbeit an mabl übergeben.

mabl hat einen ganz anderen Ansatz für UI-Tests – es geht weniger um Tests und mehr um Journeys. Man meldet sich auf deren Website an, definiert einen Weg durch die Anwendung und das war’s dann. Sie erhalten keinen Testfall oder irgendetwas, an dem Sie wirklich arbeiten können. Danach können Sie den Test regelmäßig durchführen und die Ergebnisse über die erfolgreiche Durchführung erhalten.

Preisgestaltung: Gestaffelte Preise auf der Grundlage der Anzahl der ausgeführten Reisen

Profis:

• Empfiehlt Smart Locators (ist aber für den Benutzer ein wenig unsichtbar)
• Selbstheilungsfunktion funktioniert sehr gut
• SaaS-Lösung; einfacher Zugang und Einstieg
• Skalierbares Preismodell

Nachteile:

• Verwendet bei der Aufzeichnung von Journeys nicht das Page Object Model
• Verwendet ein eigenes Framework, und es gibt keinen Import und Export der Testskripte
• Es gibt zwar CI-Integrationen, können Sie die Lösung nicht direkt in Ihr bestehendes Framework integrieren
• Wenn etwas nicht so funktioniert, wie Sie es sich vorgestellt haben, ist es sehr schwierig, Zugang zu „Code“ zu bekommen, um ihn zu konfigurieren oder zu manipulieren
• Der Fokus auf „Journeys“ macht die Erstellung von „funktionalen Validierungen“ (d. h. Tests mit Assertions) schwierig.Der Fokus auf „Journeys“ macht die Erstellung einer „funktionalen Validierung“ (d.h. Tests mit Assertions) umständlich
• SaaS-Lösung; kein On-Premise-Deployment und keine Möglichkeit, auf eine Anwendung zuzugreifen, die nicht im öffentlichen Internet verfügbar ist
• Keine eingebaute Unterstützung für BDD

Key takeaways: mabl hilft Anwendern, die Geschwindigkeit und Qualität ihrer Release-Pipeline zu verbessern, mit einer ausgeklügelten Selbstheilung, die die Automatisierung stabil hält, unabhängig von Änderungen an der Benutzeroberfläche der Anwendung. mabl tut, was es tut, und der Mensch tritt gegenüber den vorgeschriebenen Analysen in den Hintergrund, d.h. im Wesentlichen übergibt man seine Journeys an mabl und hofft auf das Beste. Für einige ist das großartig, aber für andere könnte das bedeuten, dass sie zu viel Kontrolle abgeben.

TestIM

Gestaltet für: Unternehmen, die eine sofort einsatzbereite Lösung für UI-Tests suchen, die sich auf Ausführungspfade für komplexe Workflows konzentriert.

TestIM ist eine SaaS-Anwendung, die von Entwicklern entwickelt wurde, die erkannten, dass sie zwar Zeit und Energie in die Pflege automatisierter Testumgebungen investierten, sich aber dennoch Sorgen machten, wie ein einfacher Bugfix einen anderen Teil der Anwendung beschädigen könnte. Also schufen sie diese unglaublich einfach zu bedienende Lösung für UI-Tests.

Preisgestaltung: Jährliches Abonnement basierend auf der Anzahl der ausgeführten Tests
Pros:

• Tests sind unglaublich einfach zu erstellen, mit einer intuitiven Benutzeroberfläche
• Empfiehlt Smart Locators, zusammen mit einer großartigen Strategie für deren Wartung
• Hat eine beeindruckende Selbstheilungsfähigkeit als Teil ihrer Smart Locator Technologie

Kontra:

• Verwendet in seinen Tests nicht das Seitenobjektmodell
• Mangelt es an der Möglichkeit, Testskripte zu importieren/exportieren
• Benutzer können nicht auf den Code zugreifen oder Tests aus TestIM herausnehmen
• Anbietergesperrtes Framework – Skripte befinden sich im TestIM-Framework
• Unklare Unterstützung für BDD

Kernaussagen: Es ist sehr einfach, Zugang zur TestIM-Technologie zu erhalten, und es ist sehr einfach, einen Testfall zu erstellen, der sofort nach dem Auspacken funktioniert. Die schlanke Benutzeroberfläche lässt die Selbstheilung wie Magie aussehen (wenn ich eine Lösung möchte, die meine eigene Benutzererfahrung verbessert, kann ich wahrscheinlich selbst einer Lösung mit einer großartigen Benutzererfahrung vertrauen, richtig?), aber die größte Herausforderung bei TestIM ist, dass es keine Möglichkeit gibt, Zugang zu den Tests zu erhalten. Da sich alle Tests im TestIM-Framework befinden, ist man der Infrastruktur, dem Geschäftsmodell und den zukünftigen Entwicklungen des Unternehmens ausgeliefert.

Functionize

Geschaffen für: Manuelle Tester oder nicht-technische Tester, die in BDD (sie nennen es „ALP“) als Funktion von UI-Tests einsteigen.

Functionize bietet alle Funktionen, die Sie von einem vollständigen Web-UI-Testing-Tool erwarten würden, aber mit einigen zusätzlichen Fortschritten rund um die Lokalisierungsstrategie, einschließlich eines autonomen Testfelds, in dem Tests durch einfache Verwendung der Anwendung erstellt werden können. Dies alles wird in einem proprietären Framework realisiert.

Preisgestaltung: Keine Preisinformationen öffentlich verfügbar

Pros:

• Exzellente visuelle Darstellung des Testablaufs
• Empfiehlt mehrere Locators für Elemente
• Hat eine Selbstheilungsfunktion
• Alternativer Ansatz zu traditionellem BB (unter Verwendung von proprietärem NLP). Könnte ein Nachteil sein, wenn Sie traditionelles BDD betreiben wollen (z.B. Cucumber)

Nachteile:

• Verwendet nicht das Seitenobjektmodell
• Anbietergesperrtes Framework
• Kein Import/Export von Testskripten

Kernaussagen: Die KI von Functionize scheint in der Lage zu sein, das Versprechen des Unternehmens zu erfüllen, die Testabwanderung zu beseitigen und die Genauigkeit und Effizienz von Testern zu erhöhen. Hüten Sie sich jedoch vor der Anbieterbindung, wenn Sie überlegen, wie Sie die KI in den Arbeitsablauf einbinden können.

Perfecto

Geschaffen für: Benutzer, die einen One-Stop-Shop für UI- und Mobile-Tests suchen. Da es ohne Skripte auskommt, ist es am besten für diejenigen geeignet, die keinen Code schreiben möchten.

Perfecto gibt es schon eine Weile, und sie haben sich stark auf mobile Tests konzentriert, aber sie haben ein schönes UI-Test-Ökosystem, das die Erstellung, Wartung, Cloud-Ausführung und Berichterstattung ermöglicht.

Preis: Zwischen $99 und $3588+ für ein Jahresabonnement

• Verwendet das Seitenobjektmodell (aber nur in den generierten Tests)
• Bietet mehrere Locatoren für aufgezeichnete Webelemente
• Kürzlich wurde die Selbstheilung eingeführt (obwohl es ein wenig unklar ist, was sie tut oder wie gut sie funktioniert und daher wie nützlich sie ist)

Gegensätze:

• Testskripte sind in einer proprietären TCL-basierten Sprache
• Sie können Ihre eigenen Selenium-Skripte nicht importieren
• Sie bieten zwar CI-Integrationen an, aber es ist nicht direkt in Ihr bestehendes Framework integriert
• BDD wird durch die Implementierung eines Drittanbieters, Project Quantum, unterstützt

Key Takeaways: Perfecto bietet Lösungen rund um die Pflege und das Schreiben von Testskripten, die Verwaltung und Validierung von Tests sowie die Fehlerbehebung. Die UI-Testing-Lösung von Perfecto bietet Anwendern die Möglichkeit, Tests mit oder ohne Skripte zu erstellen, und hat kürzlich neue Funktionen für die Wartung und Selbstheilung hinzugefügt.

TestCraft

Geschaffen für: Benutzer, die keinen Code schreiben wollen und nach fortschrittlichen Analysen suchen, um ihre Tests kontinuierlich zu validieren.

TestCraft ist eine kodierungsfreie Selenium-Testautomatisierungsplattform mit KI-Technologie und einzigartiger visueller Modellierung, die angeblich eine schnellere Testerstellung und -ausführung ermöglicht und gleichzeitig den Aufwand für die Testwartung eliminiert.

Preise: Keine Preisinformationen öffentlich verfügbar

Profis:

• Verwendet das Seitenobjektmodell (aber nur in den generierten Tests)
• Empfiehlt smarte Locators, genannt „Smart Bindings“
• Selbstheilung ist ein Teil ihrer Smart-Binding-Technologie
• Ein eingebauter Scheduler erlaubt es Benutzern, Testabläufe periodisch über die Zeit auszuführen

Nachteile:

• Verwendet ein proprietäres Framework
• Sie können keine Testskripte importieren/exportieren
• Lässt sich nicht direkt in Ihr bestehendes Framework integrieren (CI-Integrationen sind als Plugins verfügbar)
• BDD wird durch die Implementierung eines Drittanbieters, Project Quantum, unterstützt

Wichtige Erkenntnisse: TestCraft ist eine leistungsstarke SaaS-Anwendung, die es Testern ermöglicht, vollständig automatisierte Testszenarien ohne Programmierung zu erstellen. Benutzer zeichnen ihre Testfälle auf der Benutzeroberfläche auf und TestCraft erstellt daraus ein Modell für jeden Testablauf mit einer visuellen Anzeige der verschiedenen Pfade, die Ihr Test ausführen wird. Dies macht es auch für Benutzer mit komplexen Nutzungsmustern zugänglich.

Squish

Gestaltet für: Benutzer, die GUIs und Human Machine Interfaces (HMIs) testen müssen, insbesondere über mehrere Plattformen hinweg. Squish automatisiert Tests für Windows, Java, QT, .NET, Web, iOS, Android und mehr.

Preisgestaltung: Eine unbefristete Floating-Lizenz kann für 4.990 Euro erworben werden. Eine kostenlose Testversion ist verfügbar.

Pros:

• Umfassende plattformübergreifende Testunterstützung
• Leistungsstarke OCR-Funktionen
• Zuverlässige Objektidentifikation und -verifizierung unabhängig vom Bildschirmlayout
• Gute Unterstützung für Skriptsprachen

Nachteile:

• Für die Schulung der Endbenutzer und den technischen Support sind möglicherweise Verbesserungen erforderlich, obwohl die meisten Rückmeldungen positiv ausfallen
• Einige Probleme wurden beim Hinzufügen neuer Objekte zur Objektkarte gemeldet

Wichtige Erkenntnisse: Squish unterstützt sowohl GUI- als auch Regressionstests und verwendet eine eigenschaftsbasierte Objektidentifikation, um die Web-UI zu bewerten. Wenn Sie einen BDD-Workflow verwenden, können Sie Squish in Ihre IDE integrieren. Automatisierungsunterstützung für Chromium ist ebenfalls verfügbar.

AutonomIQ

Gestaltet für: Benutzer, die nach einer interessanten Mischung aus Code und codelosen Lösungen suchen. (Es gibt Code, aber er wird durch die Verarbeitung natürlicher Sprache unterstützt.)

AutonomIQ hat eine starke Botschaft rund um KI und maschinelles Lernen, aber was tut es? Das Tool bietet einen dreistufigen Prozess für die UI-Testautomatisierung. Es beginnt mit der Erkennung Ihrer Anwendung durch die KI und erstellt dann Testfälle auf der Grundlage dieses Erkennungsprozesses. Der dritte Schritt ist die Verwendung der Analyse-Engine zur Überwachung und Pflege der Testfälle.

Preisangaben: Keine Preisinformationen öffentlich verfügbar

Profis:

• Starkes NLP, KI und ML
• Verwendet das Seitenobjektmodell (aber nur in den generierten Tests)
• Empfiehlt Smart Locators über das Chrome-Plug-in
• Selbstheilung in der Ausführung
• Alternativer Ansatz zu traditionellem BDD (mit proprietärem NLP). Könnte ein Nachteil sein, wenn man traditionelles BDD machen will (z.B. Cucumber)

Vorteile:

• Verwendet ein proprietäres Framework
• Sie können keine Testskripte importieren
• Lässt sich nicht direkt in Ihr bestehendes Framework integrieren (CI-Integrationen sind als Plugins verfügbar)
• Nicht vollständig erprobte Technologie

Kernaussagen: Es scheint, als ob diese Technologie alles hat und alles kann. Warum steht sie dann ganz unten auf meiner Liste? Weil ich noch keinen Kunden mit echten Fallstudien oder Anwendungsfällen gefunden habe. Aber wenn ihre Lösung die potenziellen Ergebnisse erreichen kann, könnte sie ziemlich störend sein.