Top 10 des outils de test d’interface utilisateur Web : Test UI Web automatisé

Temps de lecture : 10 minutes

Au moins une douzaine de tout nouveaux outils d’automatisation des tests UI ont fait surface au cours des dernières années. Comme chaque outil a son propre objectif et sa propre stratégie, il peut être difficile de savoir par où commencer. Vous cherchez des conseils ? Consultez le top 10 des outils de test UI web ci-dessous.

Top 10 Automated Web UI Testing Tools

Comme tout testeur UI pourrait le contester, le test UI est relativement simple, tant que rien ne change dans votre interface graphique, mais le problème est… les choses changent tout le temps. Selon la solution que vous avez choisie pour les tests d’interface utilisateur, les conditions changeantes peuvent être soit une expérience révolutionnaire avec l’auto-réparation et les localisateurs d’IA, soit un échec abyssal des flux de travail manuels alambiqués.

Dans un effort pour atteindre le premier contre le dernier, j’ai passé en revue les 10 meilleurs outils de test d’interface utilisateur que vous devriez regarder.

1. Parasoft Selenic
2. Katalon
3. Selenium IDE
4. mabl
5. TestIM
6. Functionize
7. Perfecto

.

8. TestCraft
9. Squish
10. AutonomIQ

J’ai également partagé ici quelques grandes questions à se poser lors de l’évaluation des outils de test UI, pour vous assurer que vous finissez avec un outil qui est le bon ajustement et qui peut atteindre ce dont vous avez besoin.

Quel que soit l’outil que vous choisissez, tous ces outils de test d’interface utilisateur ont de grandes fonctionnalités d’utilisabilité et ont mis l’expérience utilisateur au premier plan.

Parasoft Selenic

Conçu pour : Les utilisateurs existants (ou nouveaux) de Selenium qui passent trop de temps à créer, mettre à jour et maintenir leurs tests IU. Également pour ceux qui ne veulent pas être enfermés dans un outil spécifique à un fournisseur.

Prix : Abonnement annuel pour le projet et/ou les équipes

Pros :

• L’enregistreur intelligent facilite la création de tests Selenium qui utilisent le modèle page-objet
• Peut exécuter l’auto-réparation.guérison sur les tests Selenium existants et recommande des localisateurs intelligents sur les tests Selenium existants
• Intégré directement dans votre pipeline CI/CD en tirant parti de vos scripts Selenium existants ou en créant de nouveaux scripts Selenium
• Fournit des tests d’impact pour identifier automatiquement les tests Selenium qui doivent être exécutés dans le pipeline CI/CD pour valider les nouvelles modifications du code
• Fournit un support client à tous les niveaux (pas seulement en entreprise)
• BDD pris en charge (Cucumber). Se concentre sur la maintenance du code de test Java (JUnit et TestNG) Selenium sous-jacent

Cons:

• Il n’y a pas de licence gratuite pour cette offre commerciale, mais un essai gratuit est disponible.
• Ce produit est encore relativement nouveau. La version actuelle supporte Java, JUnit 4 & 5, TestNG, Cucumber, Eclipse et IntelliJ. D’autres prises en charge sont à l’étude pour les futures versions.

Principaux points à retenir : Les recommandations alimentées par l’IA pour vos tests Selenium existants facilitent l’ajout immédiat de cette solution à votre pratique Selenium existante. Comme en témoigne Gartner Peer Insights, l’un des meilleurs avantages de la solution est le support client de classe mondiale de Parasoft, qui a été reconnu d’innombrables fois et a soutenu plus de 30 ans d’innovation de produits de test logiciel.

Katalon

Conçu pour : Les utilisateurs à la recherche d’un moyen terme entre les outils de test avec et sans code.

Pour un outil gratuit, Katalon fait beaucoup, et est très utilisé par les intégrateurs de systèmes pour les tests d’interface utilisateur. Son enregistreur se branche sur le navigateur Chrome pour que vous puissiez générer des cas de test, puis l’outil les construit dans l’IDE Katalon en utilisant le modèle objet de la page, de sorte qu’ils sont hautement maintenables. À tout moment, vous pouvez exécuter vos tests directement dans leur IDE, ou les exporter vers de nombreux types de scripts de test.

Tarification : Gratuit pour le Katalon Studio de base (avec des plugins payants disponibles sous forme d’abonnements via la place de marché). Le support d’entreprise est disponible (mais peut devenir assez cher)

Pros:

• Recommande les localisateurs intelligents
• Utilise le modèle d’objet de page (mais seulement pour les tests générés et gérés au sein de l’IDE)
• Possède une capacité d’auto-réparation (via un plug-in payant)
• Possibilité d’exporter vers de nombreux types de scripts de test
• BDD pris en charge. Les fichiers de fonctionnalités exécutent le code de test Katalon

Cons :

• Bien que vous puissiez exporter vos tests en tant que Selenium et autres scripts de test, une fois que vous avez exporté, vous perdez toute la convivialité de Katalon et l’exportation n’inclut pas le modèle objet de la page, ce qui signifie que les tests deviennent difficiles à réutiliser et à maintenir
• Leur support client n’est disponible qu’au niveau de l’entreprise, et est très coûteux
• Ne s’intègre pas directement dans votre cadre d’exécution existant (utilise un cadre propriétaire, avec des intégrations CI disponibles sous forme de plugins)

Principaux enseignements : Les utilisateurs peuvent commencer à utiliser Katalon sans avoir de connaissances techniques, en créant des cas de test rapidement grâce aux mots-clés du programme. Il est gratuit de se lancer avec Katalon Studio, mais pour bénéficier de certaines de ces technologies innovantes passionnantes, vous devrez mettre à niveau ou acheter des plugins payants.

Selenium IDE

Conçu pour : Les utilisateurs qui recherchent un outil d’enregistrement et de lecture piloté par l’interface utilisateur.
Selenium IDE est un projet open-source qui exploite la puissance de Selenium dans un plug-in Chrome, et le rend disponible gratuitement. La mise en route de Selenium IDE ne nécessite aucune configuration supplémentaire autre que l’installation de l’extension sur votre navigateur, s’alignant sur la philosophie motrice du projet qui consiste à fournir un outil facile à utiliser et à donner un retour d’information instantané.

Prix : Gratuit

Pros :

• Les utilisateurs peuvent exporter n’importe quel test créé dans un script, ce qui en fait un outil incroyablement puissant pour la création de tests UI
• Offre de multiples stratégies de localisation pour chaque élément qu’il enregistre
• Possède une fonction d’auto-réparation (mais ne fonctionne pas sur les scripts Selenium en dehors de l’IDE Selenium, et n’est pas aussi fiable que les fonctions d’auto-réparation d’autres solutions)

Cons :

• Ne s’intègre pas directement dans votre processus CI/CD
• Buggy et une boîte noire (lorsque quelque chose n’est pas enregistré, vous êtes à peu près coincé et devez exporter dans le code pour comprendre ce qui se passe)
• N’utilise pas le modèle objet de la page lors de la construction des tests
• Alors que vous pouvez exporter vos tests dans de nombreuses langues différentes, il n’y a pas de possibilité d’importation pour le moment
• Bien qu’ils offrent des intégrations CI, il n’est pas directement intégré dans votre framework existant
• Pas de support intégré pour BDD

Key takeaways : Selenium IDE est simple à utiliser, donnant aux utilisateurs la possibilité de créer rapidement des tests contre leurs interfaces utilisateur Web. Il est très convivial Selenium et semblera naturel pour ceux qui sont habitués au framework.

mabl

Conçu pour : Les équipes qui ne sont pas intéressées par l’écriture de tests et ne veulent pas établir une pratique de test UI, ce qui signifie que vous remettez la majorité du travail à mabl.

mabl a une approche très différente des tests UI – il s’agit moins de tests et plus de voyages. Vous vous connectez à leur site Web, définissez un parcours à travers votre application, et puis c’est tout. Ils ne vous donnent pas vraiment de cas de test ou quoi que ce soit sur lequel travailler. À partir de là, ils vous permettront d’exécuter périodiquement ce test et de recevoir des résultats sur son exécution réussie.

Tarification : Tarification échelonnée basée sur le nombre de voyages exécutés

Pros:

• Recommande les localisateurs intelligents (mais c’est un peu obscurci pour l’utilisateur)
• La fonction d’auto-réparation fonctionne très bien
• Solution SaaS ; facile à accéder et à démarrer
• Modèle de tarification évolutif

Cons :

• N’utilise pas le modèle de page objet lors de l’enregistrement des trajets
• Utilise son propre framework, et il n’y a pas d’importation et d’exportation des scripts de test
• Alors que des intégrations CI existent, vous ne pouvez pas intégrer directement la solution dans votre framework existant
• Si quelque chose ne fonctionne pas comme vous l’aviez prévu, il est vraiment difficile d’avoir accès au « code » pour configurer ou manipuler
• L’accent mis sur les « voyages » rend la création de la « validation fonctionnelle » (i.e. test avec assertions) se sent maladroite
• SaaS-only solution ; pas de déploiement sur site et pas de possibilité d’accéder à une application non disponible sur l’internet public
• Pas de support intégré pour BDD

Key takeaways : mabl aide les utilisateurs à améliorer la vitesse et la qualité de leur pipeline de publication, avec une auto-réparation sophistiquée qui maintient l’automatisation stable, indépendamment des changements apportés à l’interface utilisateur de l’application. mabl fait ce qu’elle fait et l’humain est relégué au second plan par ses analyses prescrites. En gros, vous confiez vos parcours à mabl et espérez le meilleur. Pour certains, c’est génial, mais pour d’autres, c’est peut-être céder trop de contrôle.

TestIM

Conçu pour : Les organisations à la recherche d’une solution prête à l’emploi pour les tests de l’interface utilisateur qui se concentre sur les chemins d’exécution pour les flux de travail complexes.

TestIM est une application SaaS, créée par des développeurs qui ont réalisé que tout en dépensant du temps et de l’énergie pour maintenir des environnements de test automatisés, ils étaient toujours anxieux de savoir comment une simple correction de bogue pourrait casser une autre partie de l’application. Ils ont donc créé cette solution incroyablement facile à utiliser pour les tests de l’interface utilisateur.

Tarification : Abonnement annuel basé sur le nombre de tests exécutés
Pros:

• Les tests sont incroyablement faciles à créer, avec une interface utilisateur intuitive
• Recommande les localisateurs intelligents, ainsi qu’une excellente stratégie pour les maintenir
• Possède une impressionnante capacité d’auto-réparation dans le cadre de leur technologie de localisateur intelligent

Cons :

• N’utilise pas le modèle de page objet dans ses tests
• Manque la capacité d’importer/exporter des scripts de test
• Les utilisateurs ne peuvent pas avoir accès au code ou sortir les tests de TestIM
• Cadre verrouillé par le fournisseur – les scripts sont dans le cadre de TestIM
• Support peu clair pour le BDD

Principaux enseignements : Il est très facile d’avoir accès à la technologie TestIM, et très facile de créer un scénario de test qui fonctionne correctement, out-of-the-box. L’expérience utilisateur élégante fait ressembler l’auto-guérison à de la magie (si je veux une solution pour améliorer ma propre expérience utilisateur, je peux probablement faire confiance à une solution avec une excellente expérience utilisateur, elle-même, non ?), mais le principal défi avec TestIM est qu’il n’y a aucun moyen d’accéder aux tests. Puisque tous les tests sont dans le cadre de TestIM, vous êtes à la merci de leur infrastructure, de leur modèle commercial et de ce qui se passe avec l’entreprise à l’avenir.

Functionize

Conçu pour : Les testeurs manuels ou les testeurs non techniques qui se lancent dans le BDD (ils l’appellent « ALP ») en tant que fonction de test UI.

Functionize fournit toutes les fonctionnalités que vous attendez d’un outil de test UI web complet, mais avec quelques avancées supplémentaires autour de la stratégie de localisation, y compris un terrain de test autonome où les tests peuvent être créés en utilisant simplement l’application. Tout cela est accompli dans leur cadre propriétaire.

Tarification : Aucune information sur les prix n’est disponible publiquement

Pros:

• Excellent affichage visuel du flux de test
• Recommande plusieurs localisateurs pour les éléments
• Dispose d’une capacité d’auto-réparation
• Approche alternative à la BB traditionnelle (en utilisant la NLP propriétaire). Pourrait être un Con si vous cherchez à faire du BDD traditionnel (c’est-à-dire Cucumber)

Cons:

• N’utilise pas le modèle de page objet
• Cadre verrouillé par le fournisseur
• Pas d’importation/exportation de scripts de test

Principaux enseignements : L’IA de Functionize semble être capable de tenir la promesse de l’organisation de supprimer la désaffection pour les tests, en augmentant la précision et l’efficacité des testeurs. Mais attention à l’enfermement du vendeur ici, alors que vous examinez comment vous pourriez l’intégrer dans le flux.

Perfecto

Conçu pour : Les utilisateurs qui recherchent un guichet unique pour les tests d’interface utilisateur et les tests mobiles. Parce qu’il est sans script, il est mieux adapté à ceux qui cherchent à ne pas écrire de code.

Perfecto existe depuis un certain temps, et ils se sont fortement concentrés sur les tests mobiles, mais ils ont un bel écosystème de test UI qui permet la création, la maintenance, l’exécution dans le nuage et les rapports.

Prix : Entre 99 $ et 3588 $+ pour un abonnement annuel

• Utilise le modèle d’objet de la page (mais seulement dans leurs tests générés)
• Fournit plusieurs localisateurs pour les éléments Web enregistrés
• Récemment introduit l’auto-réparation (bien que ce qu’il fait ou sa performance soit un peu floue, et donc son utilité)

Cons :

• Les scripts de test sont dans un langage propriétaire basé sur TCL
• Vous ne pouvez pas importer vos propres scripts Selenium
• Bien qu’ils offrent des intégrations CI, il n’est pas directement intégré dans votre framework existant
• BDD pris en charge par une implémentation tierce, Project Quantum

Key takeaways : Perfecto fournit des solutions autour de la maintenance et de l’écriture de scripts de test, de la gestion et de la validation des tests, et du débogage des défauts. La solution de test UI de Perfecto donne aux utilisateurs l’option de création avec ou sans script, et ils ont récemment ajouté de nouvelles fonctionnalités autour de la maintenance et de l’auto-réparation.

TestCraft

Conçu pour : Les utilisateurs qui ne veulent pas écrire de code et qui recherchent des analyses avancées pour valider continuellement leurs tests.

TestCraft est une plateforme d’automatisation des tests Selenium sans code, avec une technologie AI et une modélisation visuelle unique prétendant permettre une création et une exécution plus rapides des tests tout en éliminant les frais généraux de maintenance des tests.

Tarification : Aucune information sur les prix n’est publiquement disponible

Pros:

• Utilise le modèle d’objet de page (mais seulement dans leurs tests générés)
• Recommande des localisateurs intelligents, appelés « liaisons intelligentes »
• L’auto-réparation fait partie de leur technologie de liaison intelligente
• Un planificateur intégré permet aux utilisateurs d’exécuter des flux de test périodiquement dans le temps

Cons :

• Utilise un framework propriétaire
• Vous ne pouvez pas importer/exporter des scripts de test
• Ne s’intègre pas directement dans votre framework existant (les intégrations CI sont disponibles sous forme de plugins)
• BDD supporté par une implémentation tierce, Project Quantum

Principaux enseignements : TestCraft est une application SaaS puissante qui permet aux testeurs de créer des scénarios de test entièrement automatisés sans codage. Les utilisateurs enregistrent leurs cas de test sur l’interface utilisateur et à partir de cela, TestCraft créera un modèle pour chaque flux de test, avec une indication visuelle des différents chemins que votre test exécutera. Cela le rend abordable pour les utilisateurs qui ont des modèles d’utilisation complexes.

Squish

Conçu pour : Les utilisateurs qui ont besoin de tester des interfaces graphiques et des interfaces homme-machine (IHM), notamment sur plusieurs plateformes. Squish automatise les tests pour Windows, Java, QT, .NET, Web, iOS, Android, et plus encore.

Tarification : Une licence flottante perpétuelle peut être achetée pour 4 990 €. Essai gratuit disponible.

Pros:

• Support étendu de tests multiplateformes
• Puissantes capacités de reconnaissance optique de caractères (OCR)
• Identification et vérification fiables des objets indépendamment de la disposition des écrans
• Bon support des langages de script

Cons :

• Peut nécessiter des améliorations pour la formation des utilisateurs finaux et le support technique, bien que la plupart des commentaires soient favorables
• Certains problèmes signalés avec l’ajout de nouveaux objets à la carte des objets

Principes clés : Avec un support pour les tests d’interface graphique et de régression, Squish utilise l’identification des objets basée sur les propriétés pour évaluer l’interface utilisateur web. Si vous utilisez un flux de travail BDD, vous pouvez intégrer Squish dans votre IDE. Le support d’automatisation pour Chromium est également disponible.

AutonomIQ

Conçu pour : Les utilisateurs qui recherchent un hybride intéressant entre le code et les solutions sans code. (Il y a du code, mais il est aidé par le traitement du langage naturel.)

AutonomIQ a un message puissant autour de l’IA et de l’apprentissage automatique, mais que fait-il ? L’outil fournit un processus en trois étapes pour l’automatisation des tests de l’interface utilisateur. Il commence par découvrir votre application grâce à son IA, puis construit des cas de test à partir de ce processus de découverte. La troisième étape consiste à utiliser leur moteur d’analyse pour surveiller et maintenir les cas de test.

Tarification : Aucune information sur les prix n’est publiquement disponible

Pros:

• Fort NLP, AI, et ML
• Utilise le modèle objet de la page (mais seulement dans leurs tests générés)
• Recommande les localisateurs intelligents, par le biais de leur Plug-in Chrome
• Auto-réparation dans leur exécution
• Approche alternative au BDD traditionnel (utilisant le NLP propriétaire). Pourrait être un Con si vous cherchez à faire du BDD traditionnel (c’est-à-dire. Cucumber)

Conséquences:

• Utilise un framework propriétaire
• Vous ne pouvez pas importer de scripts de test
• Ne s’intègre pas directement dans votre framework existant (les intégrations CI sont disponibles sous forme de plugins)
• Pas une technologie entièrement éprouvée

Principaux enseignements : Il semble que cette technologie a tout et fait tout. Alors pourquoi se trouve-t-elle tout en bas de ma liste ? Parce que je n’ai pas été en mesure de trouver un de leurs clients avec de véritables études de cas ou d’utilisation. Mais si leur solution peut atteindre les résultats potentiels, elle pourrait être assez perturbatrice.

.