Top 10 Web UI Test Tools: Automated Web UI Testing

Leestijd: 10 minuten

In de afgelopen jaren zijn er minstens een dozijn gloednieuwe UI test automation tools opgedoken. Omdat elke tool zijn eigen focus en strategie heeft, kan het moeilijk zijn om te weten waar te beginnen. Op zoek naar meer begeleiding? Bekijk de top 10 web UI testing tools hieronder.

Top 10 Automated Web UI Testing Tools

Zoals elke UI tester kan betwisten, UI testing is relatief eenvoudig, zolang er niets in uw GUI verandert, maar het probleem is … dingen veranderen de hele tijd. Afhankelijk van de oplossing die je hebt gekozen voor UI-testen, kunnen veranderende omstandigheden ofwel een revolutionaire ervaring zijn met zelfherstellende en AI-locators, of een rampzalige mislukking van ingewikkelde handmatige workflows.

In een poging om de eerste vs de laatste te bereiken, heb ik de top 10 UI-testtools beoordeeld waar je naar moet kijken.

1. Parasoft Selenic
2. Katalon
3. Selenium IDE
4. mabl
5. TestIM
6. Functionize
7. Perfecto
8. TestCraft
9. Squish
10. AutonomIQ

Ik heb hier ook een aantal goede vragen gedeeld die je jezelf kunt stellen bij het evalueren van UI testing tools, om ervoor te zorgen dat je uiteindelijk een tool krijgt die bij je past en die kan bereiken wat je nodig hebt.

Welke tool je ook kiest, al deze UI-testtools hebben geweldige bruikbaarheidskenmerken en hebben de gebruikerservaring op de voorgrond geplaatst.

Parasoft Selenic

Ontworpen voor: Bestaande (of nieuwe) Selenium-gebruikers die te veel tijd kwijt zijn aan het maken, bijwerken en onderhouden van hun UI-tests. Ook voor degenen die niet willen worden opgesloten in een leverancier-specifieke tool.

Prijsstelling: Jaarlijks Abonnement voor Project en/of Teams

Pros:

• Smart recorder maakt het eenvoudig om Selenium tests te maken die gebruik maken van het page object model
• Kan zelfhelen op bestaande Selenium-tests en beveelt smart locators aan op bestaande Selenium-tests
• Integreert rechtstreeks in uw CI/CD-pijplijn door gebruik te maken van uw bestaande Selenium-scripts of nieuwe Selenium-scripts te maken
• Voorziet test impact analyse technologie om automatisch te identificeren welke Selenium tests moeten worden uitgevoerd in de CI/CD pijplijn om nieuwe code wijzigingen te valideren
• Biedt klantondersteuning op elk niveau (niet alleen enterprise)
• BDD ondersteund (Cucumber). Richt zich op het onderhoud van de onderliggende Java (JUnit en TestNG) Selenium testcode

Cons:

• Er is geen gratis licentie voor dit commerciële aanbod, maar een gratis trial is beschikbaar.
• Dit product is nog relatief nieuw. De huidige versie ondersteunt Java, JUnit 4 & 5, TestNG, Cucumber, Eclipse, en IntelliJ. Andere ondersteuning wordt overwogen voor toekomstige releases.

Key takeaways: AI-aangedreven aanbevelingen voor uw bestaande Selenium-tests maken het gemakkelijk om deze oplossing meteen aan uw bestaande Selenium-praktijk toe te voegen. Zoals blijkt uit Gartner Peer Insights, is een van de beste voordelen van de oplossing de klantondersteuning van wereldklasse van Parasoft, die ontelbare keren is erkend en meer dan 30 jaar productinnovatie op het gebied van softwaretesten heeft ondersteund.

Katalon

Ontworpen voor: Gebruikers die een middenweg zoeken tussen testtools zonder code en tools met code.

Voor een gratis tool kan Katalon veel, en wordt het veel gebruikt door systeemintegrators voor UI-tests. De recorder sluit aan op de Chrome browser zodat je test cases kunt genereren, en vervolgens bouwt de tool ze in de Katalon IDE met behulp van het page object model, zodat ze goed onderhoudbaar zijn. Op elk moment kunt u uw tests direct in hun IDE uitvoeren, of ze exporteren naar veel verschillende soorten testscripts.

Prijs: Gratis voor de basis Katalon Studio (met betaalde plugins beschikbaar als abonnementen via de marketplace). Enterprise ondersteuning is beschikbaar (maar kan vrij duur worden)

Pros:

• Beveelt slimme locators aan
• Gebruikt het pagina-object model (maar alleen voor de tests die binnen de IDE worden gegenereerd en beheerd)
• Heeft een zelfherstellend vermogen (via een betaalde plug-in)
• Mogelijkheid tot exporteren naar veel verschillende soorten testscripts
• OndersteundBDD. Feature files voeren Katalon test code uit

Cons:

• Hoewel je je tests kan exporteren als Selenium en andere testscripts, eens je geëxporteerd hebt verlies je alle bruikbaarheid van Katalon en de export bevat niet het pagina object model, wat betekent dat de tests moeilijk te hergebruiken en te onderhouden worden
• Hun klantenondersteuning is enkel beschikbaar op bedrijfsniveau, en is erg duur
• Geeft geen directe integratie in je bestaande executieraamwerk (gebruikt een proprietary raamwerk, met CI integraties beschikbaar als plugins)

Key takeaways: Gebruikers kunnen zonder technische kennis aan de slag met Katalon en snel testcases maken dankzij de keywords in het programma. Het is gratis om met Katalon Studio aan de slag te gaan, maar om te profiteren van een aantal van die spannende innovatieve technologieën, zult u moeten upgraden of betaalde plugins moeten aanschaffen.

Selenium IDE

Ontworpen voor: Gebruikers die op zoek zijn naar een UI-gestuurde record-and-playback-tool.
Selenium IDE is een open-sourceproject dat de kracht van Selenium bundelt in een Chrome-plug-in, en deze gratis beschikbaar stelt. Aan de slag met Selenium IDE vereist geen extra setup anders dan het installeren van de extensie op uw browser, in lijn met de drijvende filosofie van het project van het verstrekken van een tool die is makkelijk te gebruiken en geeft directe feedback.

Prijsstelling: Gratis

Pros:

• Gebruikers kunnen elke gemaakte test exporteren naar een script, waardoor het een ongelooflijk krachtig hulpmiddel is voor het maken van UI-tests
• Biedt meerdere locator strategieën voor elk element dat het registreert
• Heeft een zelf-herstellende functie (maar werkt niet op Selenium scripts buiten de Selenium IDE, en is niet zo betrouwbaar als zelf-herstellende functies van andere oplossingen)

Cons:

• Past niet direct in je CI/CD proces
• Buggy en een blackbox (als iets niet wordt vastgelegd zit je behoorlijk vast en moet je exporteren naar code om uit te zoeken wat er aan de hand is)
• Gebruikt niet het page object model bij het bouwen van tests
• Terwijl je je tests in veel verschillende talen kunt exporteren, is er op dit moment geen mogelijkheid om te importeren
• Zoals ze CI integraties aanbieden, is het niet direct geïntegreerd in je bestaande framework
• Geen ingebouwde ondersteuning voor BDD

Key takeaways: Selenium IDE is eenvoudig in gebruik en geeft gebruikers de mogelijkheid om snel tests te maken tegen hun Web UI’s. Het is zeer Selenium-vriendelijk en zal natuurlijk aanvoelen voor degenen die gewend zijn aan het framework.

mabl

Ontworpen voor: Teams die niet geïnteresseerd zijn in het schrijven van tests en geen UI-testpraktijk willen opzetten, wat betekent dat je het grootste deel van het werk aan mabl overdraagt.

mabl heeft een heel andere benadering van UI-tests – het gaat minder om tests en meer om journeys. Je logt in op hun website, definieert een reis door je applicatie, en dat is het dan. Ze geven je niet echt een test case of iets anders om echt aan te werken. Vanaf dat punt, zullen zij u toestaan om periodiek die test te lopen en resultaten te ontvangen over zijn succesvolle uitvoering.

Prijsstelling: Tiered pricing op basis van aantal uitgevoerde journeys

Pros:

• Recommends smart locators (maar het is een beetje verborgen voor de gebruiker)
• Self-healing feature werkt erg goed
• SaaS-oplossing; gemakkelijk toegankelijk en aan de slag
• Kalibreerbaar prijsmodel

Cons:

• Gebruikt niet het pagina-objectmodel bij het vastleggen van journeys
• Gebruikt een eigen framework, en er is geen import en export van de testscripts
• Weliswaar bestaan er CI-integraties, kun je de oplossing niet direct integreren in je bestaande framework
• Als iets niet werkt zoals je het bedoeld had, is het erg moeilijk om toegang te krijgen tot “code” om te configureren of te manipuleren
• De focus op “journeys” maakt het maken van “functionele validatie” (i.d. test met asserties) onhandig aanvoelen
• SaaS-only oplossing; geen on-premise inzet en geen mogelijkheid om toegang te krijgen tot een applicatie die niet beschikbaar is op het openbare internet
• Geen ingebouwde ondersteuning voor BDD

Key takeaways: mabl helpt gebruikers de snelheid en kwaliteit van hun releasepijplijn te verbeteren, met geavanceerde auto-healing die de automatisering stabiel houdt, ongeacht wijzigingen in de UI van de applicatie. mabl doet wat het doet, en de mens neemt een ondergeschikte positie in ten opzichte van de voorgeschreven analytics, dus in wezen geef je je journeys over aan mabl en hoop je op het beste. Voor sommigen is dat geweldig, maar voor anderen is dat misschien het uit handen geven van te veel controle.

TestIM

Ontworpen voor: Organisaties die op zoek zijn naar een out-of-the-box oplossing voor UI-tests die zich richt op executiepaden voor complexe workflows.

TestIM is een SaaS-applicatie, gemaakt door ontwikkelaars die zich realiseerden dat terwijl ze tijd en energie besteedden aan het onderhouden van geautomatiseerde testomgevingen, ze nog steeds bezorgd waren over hoe een eenvoudige bugfix een ander onderdeel van de applicatie zou kunnen breken. Dus creëerden ze deze ongelooflijk eenvoudig te gebruiken oplossing voor UI-testen.

Prijsstelling: Jaarabonnement op basis van aantal uitgevoerde tests
Pros:

• Tests zijn ongelooflijk eenvoudig te maken, met een intuïtieve gebruikersinterface
• Beveelt slimme locators aan, samen met een geweldige strategie om ze te onderhouden
• Heeft een indrukwekkend zelfherstellend vermogen als onderdeel van hun Smart Locator technologie

Cons:

• Gebruikt niet het page object model in hun tests
• Mismogelijkheid om testscripts te importeren/exporteren
• Gebruikers kunnen geen toegang krijgen tot code of tests uit TestIM halen
• Vendor-locked framework – scripts zitten in het TestIM framework
• Onduidelijke ondersteuning voor BDD

Key takeaways: Het is heel gemakkelijk om toegang te krijgen tot de TestIM technologie, en heel gemakkelijk om een testcase te maken die goed werkt, out-of-the-box. De gestroomlijnde gebruikerservaring doet het zelfhelend vermogen op magie lijken (als ik een oplossing wil om mijn eigen gebruikerservaring te verbeteren, kan ik waarschijnlijk wel vertrouwen op een oplossing met een geweldige gebruikerservaring, toch?), maar de grootste uitdaging met TestIM is dat er geen manier is om toegang te krijgen tot de tests. Aangezien alle tests in het TestIM-framework staan, ben je overgeleverd aan hun infrastructuur, bedrijfsmodel en wat er in de toekomst met het bedrijf gebeurt.

Functionize

Ontworpen voor: Handmatige testers of niet-technische testers die in BDD komen (ze noemen het “ALP”) als functie van UI-testen.

Functionize biedt alle functies die je zou verwachten van een volledige web UI-testtool, maar met een aantal extra verbeteringen rond locator-strategie, waaronder een autonome testplaats waar tests kunnen worden gemaakt door simpelweg de applicatie te gebruiken. Dit wordt allemaal bereikt in hun eigen framework.

Prijsstelling: Geen prijsinformatie publiekelijk beschikbaar

Pros:

• Uitstekende visuele weergave van testflow
• Beveelt meerdere locators aan voor elementen
• Heeft een zelfherstellend vermogen
• Alternatieve aanpak voor traditionele BB (met behulp van eigen NLP). Kan een nadeel zijn als je op zoek bent naar traditionele BDD (d.w.z. Cucumber)

Cons:

• Gebruikt niet het page object model
• Vendor-locked framework
• Geen import/export van testscripts

Key takeaways: Functionize’s AI lijkt in staat te zijn om de belofte van de organisatie waar te maken om test churn te verwijderen, waardoor de nauwkeurigheid en efficiëntie van testers toeneemt. Maar pas op voor een vendor-lock, als je bedenkt hoe je het in de flow kunt brengen.

Perfecto

Ontworpen voor: Gebruikers die op zoek zijn naar een one-stop-shop voor UI- en mobiele tests. Omdat het scriptloos is, is het het meest geschikt voor mensen die geen code willen schrijven.

Perfecto bestaat al een tijdje, en ze hebben zich sterk gericht op mobiel testen, maar ze hebben een mooi ecosysteem voor UI-testen dat creatie, onderhoud, uitvoering in de cloud en rapportage mogelijk maakt.

Prijs: Tussen $99 en $3588+ voor een jaarabonnement

• Gebruikt het pagina-objectmodel (maar alleen in hun gegenereerde tests)
• Voorziet meerdere locators voor opgenomen webelementen
• Recentelijk geïntroduceerde self-healing (hoewel het een beetje onduidelijk is wat het doet of hoe goed het presteert, en dus hoe nuttig het is)

Cons:

• Testscripts zijn in een eigen TCL-gebaseerde taal
• Je kunt je eigen Selenium-scripts niet importeren
• Weliswaar bieden ze CI-integraties, maar het is niet direct geïntegreerd in je bestaande framework
• BDD ondersteund via 3rd party implementatie, Project Quantum

Key takeaways: Perfecto biedt oplossingen rond het onderhouden en schrijven van testscripts, het beheren en valideren van tests, en het debuggen van defecten. Perfecto’s UI-testoplossing biedt gebruikers de mogelijkheid om scripts te maken of zonder scripts, en ze hebben onlangs nieuwe functies toegevoegd rond onderhoud en zelfherstel.

TestCraft

Ontworpen voor: Gebruikers die geen code willen schrijven en op zoek zijn naar geavanceerde analytics om hun tests continu te valideren.

TestCraft is een codeloos Selenium-testautomatiseringsplatform, met AI-technologie en unieke visuele modellering die beweren snellere testcreatie en -uitvoering mogelijk te maken, terwijl de overhead voor testonderhoud wordt geëlimineerd.

Prijsstelling: Geen prijsinformatie publiekelijk beschikbaar

Pros:

• Gebruikt het pagina object model (maar alleen in hun gegenereerde tests)
• Beveelt slimme locators aan, genaamd “smart bindings”
• Self-healing is een onderdeel van hun smart binding technologie
• Een ingebouwde scheduler stelt gebruikers in staat om test flows periodiek uit te voeren in de tijd

Cons:

• Gebruikt een eigen framework
• U kunt geen testscripts importeren/exporteren
• Niet direct te integreren in uw bestaande framework (CI-integraties zijn beschikbaar als plugins)
• BDD ondersteund door 3rd party implementatie, Project Quantum

Key takeaways: TestCraft is een krachtige SaaS-applicatie die testers in staat stelt om volledig geautomatiseerde testscenario’s te maken zonder te coderen. Gebruikers leggen hun testgevallen vast op de UI en van daaruit creëert TestCraft een model voor elke testflow, met een visuele indicatie van de verschillende paden die uw test zal uitvoeren. Dit maakt het toegankelijk voor gebruikers met complexe gebruikspatronen.

Squish

Ontworpen voor: Gebruikers die GUI’s en mens-machine-interfaces (HMI’s) moeten testen, met name op meerdere platforms. Squish automatiseert het testen voor Windows, Java, QT, .NET, Web, iOS, Android, en meer.

Prijsstelling: Een eeuwigdurende floating licentie kan worden aangeschaft voor €4.990. Gratis trial beschikbaar.

Pros:

• Uitgebreide cross-platform testondersteuning
• Prachtige optische tekenherkenning (OCR) mogelijkheden
• Betrouwbare objectidentificatie en verificatie onafhankelijk van schermlay-outs
• Goede ondersteuning voor scripttalen

Cons:

• Misschien verbeteringen nodig voor eindgebruikerstraining en technische ondersteuning, hoewel de meeste feedback gunstig is
• Enige problemen gemeld met het toevoegen van nieuwe objecten aan de objectkaart

Key takeaways: Met ondersteuning voor zowel GUI- als regressietesten, gebruikt Squish objectidentificatie op basis van eigenschappen om de web UI te evalueren. Als je een BDD-workflow gebruikt, kun je Squish in je IDE integreren. Automatiseringsondersteuning voor Chromium is ook beschikbaar.

AutonomIQ

Ontworpen voor: Gebruikers die op zoek zijn naar een interessante hybride tussen code en codeloze oplossingen. (Er is wel code, maar die wordt ondersteund door natuurlijke taalverwerking.)

AutonomIQ heeft een krachtige boodschap rond AI en machine learning, maar wat doet het nu eigenlijk? De tool biedt een drie-stappen-proces voor UI-testautomatisering. Het begint met het ontdekken van uw applicatie door middel van AI, en bouwt vervolgens testcases op basis van dat ontdekkingsproces. De derde stap is het gebruik van hun analytics engine om de testcases te monitoren en te onderhouden.

Prijsstelling: Geen prijsinformatie publiekelijk beschikbaar

Pros:

• Sterke NLP, AI, en ML
• Gebruikt het pagina object model (maar alleen in hun gegenereerde tests)
• Beveelt slimme locators aan, via hun Chrome Plug-in
• Zelfhelend in hun uitvoering
• Alternatieve aanpak voor traditionele BDD (met behulp van eigen NLP). Kan een nadeel zijn als u traditionele BDD wilt doen (bijv. Cucumber)

Cons:

• Gebruikt een proprietary framework
• Je kunt geen testscripts importeren
• Gaat niet direct op in je bestaande framework (CI integraties zijn beschikbaar als plugins)
• Niet geheel bewezen technologie

Key takeaways: Het lijkt alsof deze technologie alles heeft en alles doet. Dus waarom staat het helemaal onderaan mijn lijst? Omdat ik nog geen klant van ze heb kunnen vinden met echte case studies of gebruik. Maar als hun oplossing de potentiële resultaten kan bereiken, zou het behoorlijk verstorend kunnen zijn.