Topp 10 testverktyg för webbgränssnitt: Automatiserad testning av webbgränssnitt

Lästid: 10 minuter

Minst ett dussin helt nya verktyg för automatisering av UI-tester har dykt upp under de senaste åren. Eftersom varje verktyg har sitt eget fokus och sin egen strategi kan det vara svårt att veta var man ska börja. Vill du ha mer vägledning? Kolla in de 10 bästa verktygen för UI-testning på webben nedan.

De 10 bästa automatiserade verktygen för UI-testning på webben

Som alla UI-testare skulle kunna bestrida är UI-testning relativt okomplicerat, så länge inget i ditt GUI ändras, men problemet är… saker och ting ändras hela tiden. Beroende på vilken lösning du har valt för UI-testning kan förändrade förhållanden antingen vara en revolutionerande upplevelse med självläkning och AI-lokaliserare, eller ett avgrundsdjupt misslyckande med invecklade manuella arbetsflöden.

I ett försök att uppnå det förstnämnda jämfört med det sistnämnda har jag granskat de 10 bästa UI-testverktygen som du bör titta på.

1. Parasoft Selenic
2. Katalon
3. Selenium IDE
4. mabl
5. TestIM
6. Functionize
7. Perfecto

.

8. TestCraft
9. Squish
10. AutonomIQ

Jag delade också med mig av några bra frågor att ställa sig själv när man utvärderar verktyg för UI-testning, för att se till att du får ett verktyg som passar rätt och som kan uppnå det du behöver.

Vilket verktyg du än väljer har alla dessa verktyg för UI-testning bra funktioner för användbarhet och har satt användarupplevelsen i fokus.

Parasoft Selenic

Designad för: Befintliga (eller nya) Selenium-användare som spenderar för mycket tid på att skapa, uppdatera och underhålla sina UI-tester. Även för dem som inte vill vara låsta till ett leverantörsspecifikt verktyg.

Prissättning: Prissättning: Årlig prenumeration för projekt och/eller team

Pros:

• Smart recorder gör det enkelt att skapa Selenium-tester som använder page object model
• Kan exekvera självhealing på befintliga Selenium-tester och rekommenderar smarta sökare på befintliga Selenium-tester
• Integreras direkt i din CI/CD-pipeline genom att utnyttja dina befintliga Selenium-skript eller skapa nya Selenium-skript
• Försörjer test. analysteknik för att automatiskt identifiera vilka Selenium-tester som måste utföras i CI/CD-pipeline för att validera nya kodändringar
• Gör kundsupport på alla nivåer (inte bara företag)
• BDD stöds (Cucumber). Fokuserar på underhåll av den underliggande Java (JUnit och TestNG) Selenium-testkoden

Konsekvenser:

• Det finns ingen gratis licens för det här kommersiella erbjudandet, men en gratis provversion finns tillgänglig.
• Den här produkten är fortfarande relativt ny. Den nuvarande versionen stöder Java, JUnit 4 & 5, TestNG, Cucumber, Eclipse och IntelliJ. Annat stöd övervägs för framtida versioner.

Nyckelresultat: AI-drivna rekommendationer för dina befintliga Selenium-tester gör det enkelt att lägga till den här lösningen i din befintliga Selenium-praktik direkt. Som framgår av Gartner Peer Insights är en av de bästa fördelarna med lösningen Parasofts kundsupport i världsklass, som har erkänts otaliga gånger och som har stöttat över 30 års produktinnovation inom mjukvarutestning.

Katalon

Designad för: Användare som letar efter ett mellanting mellan kod och kodlösa testverktyg.

För ett gratis verktyg klarar Katalon mycket och används flitigt av systemintegratörer för UI-testning. Dess inspelare ansluts till webbläsaren Chrome så att du kan generera testfall, och sedan bygger verktyget dem i Katalon IDE med hjälp av sidobjektsmodellen, så att de kan underhållas i hög grad. När som helst kan du utföra dina tester direkt i deras IDE, eller exportera dem till många olika typer av testskript.

Prissättning: Gratis för Katalon Studio (med betalda plugins tillgängliga som prenumerationer via marknadsplatsen). Enterprise support finns tillgängligt (men kan bli ganska dyrt)

Pros:

• Rekommenderar smarta sökare
• Använder page object model (men bara för de tester som genereras och hanteras inom IDE)
• Har en självläkande funktion (via en betald plug-in)
• Förmåga att exportera till många olika typer av testskript
• BDD stöds. Funktionsfiler exekverar Katalon testkod

Konstigheter:

• Och även om du kan exportera dina tester som Selenium och andra testskript förlorar du all användbarhet av Katalon när du väl har exporterat, och exporten inkluderar inte sidobjektsmodellen, vilket innebär att testerna blir svåra att återanvända och underhålla
• Den kundsupport som de erbjuder är endast tillgänglig på företagsnivå, och är mycket dyrt
• Integrerar inte direkt i ditt befintliga exekveringsramverk (använder ett proprietärt ramverk, med CI-integrationer tillgängliga som plugins)

Nyckelresultat: Användare kan börja använda Katalon utan att ha några tekniska kunskaper och skapa testfall snabbt tack vare nyckelorden i programmet. Det är gratis att komma igång med Katalon Studio, men för att få nytta av några av de spännande innovativa teknikerna måste du uppgradera eller köpa betalda plugins.

Selenium IDE

Designad för: Användare som letar efter ett UI-drivet verktyg för inspelning och uppspelning.
Selenium IDE är ett projekt med öppen källkod som utnyttjar kraften i Selenium i en Chrome-plugin och gör den tillgänglig gratis. För att komma igång med Selenium IDE krävs ingen annan installation än att du installerar tillägget i din webbläsare, vilket stämmer överens med projektets drivande filosofi att tillhandahålla ett verktyg som är lätt att använda och ger omedelbar återkoppling.

Prissättning: Gratis

Pros:

• Användare kan exportera alla skapade tester till ett skript, vilket gör det till ett otroligt kraftfullt verktyg för att skapa UI-tester
• Erbjuder flera lokaliseringsstrategier för varje element som registreras
• Har en självläkande funktion (men fungerar inte på Selenium-skript utanför Selenium IDE och är inte lika tillförlitlig som självläkande funktioner från andra lösningar)

Contras:

• Passar inte direkt in i din CI/CD-process
• Buggigt och en blackbox (när något inte registreras är du ganska fast och måste exportera ut i koden för att ta reda på vad som händer)
• Använder inte sidobjektsmodellen när du bygger tester
• Men du kan exportera dina tester på många olika språk, men det finns ingen möjlighet att importera vid denna tidpunkt
• Om de erbjuder CI-integrationer är det inte direkt integrerat i ditt befintliga ramverk
• Inget inbyggt stöd för BDD

Nyckelresultat: Selenium IDE är enkelt att använda och ger användarna möjlighet att snabbt skapa tester mot sina webbgränssnitt. Det är mycket Seleniumvänligt och kommer att kännas naturligt för dem som är vana vid ramverket.

mabl

Designad för: Det innebär att du lämnar över majoriteten av arbetet till mabl.

mabl har ett mycket annorlunda tillvägagångssätt för UI-testning – det handlar mindre om tester och mer om resor. Du loggar in på deras webbplats, definierar en resa genom din applikation och sedan är det slut. De ger dig inte riktigt ett testfall eller något att verkligen arbeta med. Från den punkten låter de dig regelbundet köra testet och få resultat om att det har lyckats.

Prissättning: Det är en del av den som är en del av en resa som utförs

Pros:

• Rekommenderar smarta lokaliserare (men det är lite dolt för användaren)
• Självläkande funktion fungerar mycket bra
• SaaS-lösning; lätt att få tillgång till och komma igång
• Skalerbar prismodell

Contrar: Det är inte lätt att få tillgång till en lösning som är enkel att använda och komma igång

:

• Använder inte page object model när man registrerar resor
• Använder ett eget ramverk och det finns ingen import och export av testskripten
• Vidare finns CI-integrationer, kan du inte integrera lösningen direkt i ditt befintliga ramverk
• Om något inte fungerar som du tänkt dig är det mycket svårt att få tillgång till ”kod” för att konfigurera eller manipulera
• Fokuseringen på ”resor” gör att skapandet av ”funktionell validering” (dvs.t.ex. test med assertions) känns besvärlig
• Enbart SaaS-lösning; ingen lokal distribution och ingen möjlighet att få tillgång till en applikation som inte är tillgänglig på det offentliga internet
• Inget inbyggt stöd för BDD

Nyckelresultat: mabl hjälper användarna att förbättra hastigheten och kvaliteten på deras release-pipeline med en sofistikerad automatisk läkning som gör att automatiseringen hålls stabil, oberoende av ändringar i applikationens användargränssnitt. mabl gör vad den gör och människan får stå tillbaka för den föreskrivna analysen, så i huvudsak lämnar du över dina resor till mabl och hoppas på det bästa. För vissa är det bra, men för andra kan det vara att överlämna för mycket kontroll.

TestIM

Designed for: Organisationer som letar efter en färdig lösning för UI-testning som fokuserar på exekveringsvägar för komplexa arbetsflöden.

TestIM är en SaaS-applikation som skapades av utvecklare som insåg att även om de spenderade tid och energi på att underhålla automatiserade testmiljöer, var de fortfarande oroliga för hur en enkel felrättning skulle kunna skada en annan del av applikationen. Så de skapade denna otroligt lättanvända lösning för UI-testning.

Prissättning: Årlig prenumeration baserad på antal utförda tester
Pros:

• Testerna är otroligt enkla att skapa, med ett intuitivt användargränssnitt
• Rekommenderar smarta lokaliserare, tillsammans med en bra strategi för att underhålla dem
• Har en imponerande självläkande förmåga som en del av deras smarta lokaliserare-teknologi

Contrar:

• Använder inte page object model i sina tester
• Inte möjlighet att importera/exportera testskript
• Användare kan inte få tillgång till kod eller ta ut tester ur TestIM
• Vendor-locked framework – skript finns i TestIM-ramverket
• Oklart stöd för BDD

Nyckelåtgärder: Det är mycket enkelt att få tillgång till TestIM-tekniken och mycket enkelt att skapa ett testfall som fungerar rätt, out-of-the-box. Den eleganta användarupplevelsen får självläkning att se ut som magi (om jag vill ha en lösning för att förbättra min egen användarupplevelse kan jag förmodligen lita på en lösning med en bra användarupplevelse, själv, eller hur?), men den största utmaningen med TestIM är att det inte finns något sätt att få tillgång till testerna. Eftersom alla tester finns i TestIM-ramverket är du utlämnad till deras infrastruktur, affärsmodell och vad som händer med företaget i framtiden.

Functionize

Designad för: Manuella testare eller icke-tekniska testare som håller på att sätta sig in i BDD (de kallar det ”ALP”) som en funktion av UI-testning.

Functionize erbjuder alla funktioner som du kan förvänta dig av ett komplett verktyg för UI-testning på webben, men med några ytterligare framsteg kring lokaliseringsstrategin, inklusive ett autonomt testfält där tester kan skapas genom att helt enkelt använda applikationen. Allt detta sker i deras egenutvecklade ramverk.

Prissättning: Inga prisinformationer tillgängliga för allmänheten

Pros:

• Utmärkt visuell visning av testflödet
• Rekommenderar flera lokatorer för element
• Har en självläkande förmåga
• Alternativt tillvägagångssätt till traditionell BB (med hjälp av proprietär NLP). Kan vara en nackdel om du vill göra traditionell BDD (t.ex. Cucumber)

Nackdelar:

• Använder inte page object model
• Vendor-locked framework
• Ingen import/export av testskript

Nyckelresultat: Functionize AI verkar kunna leverera på organisationens löfte om att ta bort testchurn, vilket ökar testarnas noggrannhet och effektivitet. Men akta dig för leverantörslås här, när du överväger hur du kan få in den i flödet.

Perfecto

Designad för: Användare som letar efter ett enda ställe för UI- och mobiltestning. Eftersom den är skriptlös passar den bäst för dem som vill slippa skriva kod.

Perfecto har funnits ett tag och de har fokuserat mycket på mobiltestning, men de har ett trevligt ekosystem för UI-testning som gör det möjligt att skapa, underhålla, utföra i molnet och rapportera.

Pris:

• Använder page object model (men bara i deras genererade tester)
• Gör flera lokaliserare för inspelade webmelement
• Införde nyligen självläkning (även om det är lite oklart vad det gör eller hur bra det fungerar, och därför hur användbart det är)

Minus:

• Testskript är i ett proprietärt TCL-baserat språk
• Du kan inte importera dina egna Selenium-skript
• Samtidigt som de erbjuder CI-integrationer är det inte direkt integrerat i ditt befintliga ramverk
• BDD stöds genom implementering från tredje part, Project Quantum

Nyckelintryck: Perfecto erbjuder lösningar kring underhåll och skrivande av testskript, hantering och validering av tester samt felsökning av defekter. Perfectos lösning för UI-testning ger användarna möjlighet till skapande med eller utan skript, och de har nyligen lagt till nya funktioner kring underhåll och självläkning.

TestCraft

Designad för:

TestCraft är en kodlös Selenium-testautomatiseringsplattform, med AI-teknik och unik visuell modellering som gör det möjligt att snabbare skapa och utföra tester samtidigt som man eliminerar testunderhållet.

Prissättning: Användare som inte vill skriva kod och som letar efter avancerad analys för att kontinuerligt validera sina tester:

Pros:

• Använder page object model (men endast i deras genererade tester)
• Rekommenderar smarta sökare, så kallade ”smart bindings”
• Självläkning är en del av deras smarta bindningsteknologi
• En inbyggd schemaläggare gör det möjligt för användare att exekvera testflöden periodiskt över tid

Cons: Det finns ingen information om priser som är allmänt tillgänglig

Pros:

• Ingen information om priser:
  • Använder ett proprietärt ramverk
  • Du kan inte importera/exportera testskript
  • Integrerar inte direkt i ditt befintliga ramverk (CI-integrationer finns tillgängliga som plugins)
  • BDD stöds genom implementering från tredje part, Project Quantum

  Nyckelresultat: TestCraft är en kraftfull SaaS-applikation som gör det möjligt för testare att skapa helt automatiserade testscenarier utan att programmera. Användarna registrerar sina testfall på användargränssnittet och utifrån det skapar TestCraft en modell för varje testflöde, med en visuell indikation av de olika vägar som testet kommer att utföra. Detta gör det tillgängligt för användare som har komplexa användningsmönster.

  Squish

  

  Designad för: Användare som behöver testa grafiska gränssnitt och användargränssnitt (HMI), särskilt på flera plattformar. Squish automatiserar testning för Windows, Java, QT, .NET, Web, iOS, Android med mera.

  Prissättning: En evig flytande licens kan köpas för 4 990 euro. Gratis testversion finns tillgänglig.

  Pros:

  • Uttryckligt stöd för plattformsoberoende testning
  • Kraftig kapacitet för optisk teckenigenkänning (OCR)
  • Pålitlig identifiering och verifiering av objekt oberoende av skärmens utformning
  • Gott stöd för skriptspråk

  Contrar:

  • Kan behöva förbättras när det gäller utbildning av slutanvändare och teknisk support, även om de flesta synpunkterna är positiva
  • En del problem har rapporterats när det gäller att lägga till nya objekt i objektkartan

  Nyckelresultat: Med stöd för både GUI- och regressionstestning använder Squish egenskapsbaserad objektidentifiering för att utvärdera webbgränssnittet. Om du använder ett BDD-arbetsflöde kan du integrera Squish i ditt IDE. Automatiseringsstöd för Chromium finns också tillgängligt.

  AutonomIQ

  

  Designad för: Användare som letar efter en intressant hybrid mellan kod och kodlösa lösningar. (Det finns kod, men den är hjälpt av naturlig språkbehandling.)

  AutonomIQ har ett kraftfullt budskap kring AI och maskininlärning, men vad gör den? Verktyget tillhandahåller en trestegsprocess för automatisering av UI-tester. Det börjar med att upptäcka din applikation genom dess AI och bygger sedan testfall utifrån denna upptäcktsprocess. Det tredje steget är att använda deras analysmotor för att övervaka och underhålla testfallen.

  Prissättning: Ingen prisinformation är offentligt tillgänglig

  Pros:

  • Stark NLP, AI och ML
  • Använder sidobjektsmodellen (men endast i deras genererade tester)
  • Rekommenderar smarta lokaliserare genom deras Chrome Plug-in
  • Självläkande vid exekveringen
  • Alternativt tillvägagångssätt till traditionell BDD (med hjälp av proprietär NLP). Kan vara ett problem om du vill göra traditionell BDD (dvs. Cucumber)

  Kons:

  • Använder ett proprietärt ramverk
  • Du kan inte importera testskript
  • Integrerar inte direkt i ditt befintliga ramverk (CI-integrationer finns tillgängliga som plugins)
  • Inte helt beprövad teknik

  Nyckelresultat: Det verkar som om den här tekniken har allt och gör allt. Så varför ligger den längst ner på min lista? Därför att jag inte har kunnat hitta någon kund till dem med några riktiga fallstudier eller användning. Men om deras lösning kan nå upp till de potentiella resultaten kan den vara ganska störande.

  Prova Parasoft Selenic idag!

  Start gratis provperiod nu