Web UI自動テストツールTOP10｜パラソフト

Reading Time: 10 minutes

ここ数年、少なくとも 1 ダースもの真新しい UI テスト自動化ツールが表面化しました。どのツールも独自の焦点と戦略を持っているので、どこから始めればよいかを知るのは難しいかもしれません。より多くのガイダンスをお探しですか？

Top 10 Automated Web UI Testing Tools

UI テスターなら誰もが異議を唱えるように、GUI に何も変更がない限り、UI テストは比較的簡単ですが、問題は… 物事は常に変化する、ということです。 UI テストのために選択したソリューションによっては、状況の変化は、自己回復と AI ロケーターによる革命的な体験になるか、複雑な手動ワークフローによるひどい失敗になるかのどちらかです。

Parasoft Selenic
Katalon
Selenium IDE
mabl
TestIM
Functionize
パーフェクト

TestCraft

Squish
AutonomIQ

また、UI テストツールを評価する際に自問すべき素晴らしい質問をいくつかご紹介しました。必要なことを実現するための最適なツールを選ぶことができます。

どのツールを選んでも、これらの UI テストツールはすべて素晴らしいユーザビリティ機能を持ち、ユーザーエクスペリエンスを最前線に置いています。既存の (または新しい) Selenium ユーザーで、UI テストの作成、更新、およびメンテナンスに多くの時間を費やしている人。また、ベンダー固有のツールに縛られたくない方にもお勧めです。プロジェクトやチームのための年間サブスクリプション

See Parasoft Selenic in action!

Start Your Free Trial Now

Pros:

Smart Recorder は、ページオブジェクトモデルを使用する Selenium テストを簡単に作成します。既存のSeleniumテストのヒーリングや、既存のSeleniumテストへのスマートロケータの推奨
既存のSeleniumスクリプトを活用したり、新しいSeleniumスクリプトを作成することによってCI/CDパイプラインに直接統合
テストインパクト解析技術により、新しいコード変更を検証するために CI/CD パイプラインで実行する必要がある Selenium テストを自動的に特定します
あらゆるレベルのカスタマーサポートを提供します (エンタープライズだけではありません)
BDD をサポート (Cucumber) します。基礎となるJava (JUnit および TestNG) Seleniumテストコードのメンテナンスに注力

Cons:

There is no free license for this commercial offering, but a free trial is available.
この製品はまだ比較的新しいものである。現在のバージョンは、Java、JUnit 4 & 5、TestNG、Cucumber、Eclipse、および IntelliJ をサポートしています。その他のサポートは将来のリリースに向けて検討中です。

Key takeaways: 既存のSeleniumテストにAIを搭載したレコメンデーションにより、このソリューションを既存のSeleniumプラクティスにすぐに追加することが容易になります。 Gartner Peer Insightsでも証明されているように、このソリューションの最高の利点の1つは、数え切れないほど認められているパラソフトの世界クラスのカスタマーサポートで、30年以上のソフトウェアテスト製品のイノベーションを支えてきました。

パラソフトSelenicを実際に見てみる！

Start Your Free Trial Now

Katalon

Designed for:

無料ツールとしては、Katalon は多くの機能を備えており、システムインテグレーターが UI テストに多用します。そのレコーダーは Chrome ブラウザーにプラグインされるので、テストケースを生成することができます。いつでも、IDE で直接テストを実行したり、さまざまな種類のテストスクリプトにエクスポートしたりすることができます。基本的な Katalon Studio は無料です (マーケットプレイスを通じてサブスクリプションとして利用可能な有料プラグインあり)。エンタープライズサポートは利用可能です (ただし、かなり高価になります)。

スマートロケーターを推奨
ページオブジェクトモデルを使用 (ただし、IDE 内で生成および管理するテストのみ)
自己回復機能 (有償プラグイン)
多くの異なるタイプのテストスクリプトにエクスポート可能
BDD をサポートしています。機能ファイルでは、Katalon テストコードを実行

Cons:

Selenium やその他のテストスクリプトとしてエクスポートできますが、エクスポートすると、Katalon の使い勝手がすべて失われ、エクスポートにはページオブジェクトモデルが含まれないので、テストの再利用と保守が困難になります。既存の実行フレームワークと直接統合できない (独自のフレームワークを使用し、CI 統合はプラグインとして利用可能)

Key takeaways: ユーザーは、専門的な知識がなくてもKatalonを使い始めることができ、プログラム内のキーワードのおかげで迅速にテストケースを作成することができます。 Katalon Studio を使い始めるのは無料ですが、それらのエキサイティングな革新的技術のいくつかを利用するには、アップグレードするか、有料のプラグインを購入する必要があります。

Selenium IDE

Designed for: UI 駆動型の記録および再生ツールを探しているユーザー。
Selenium IDE は、Chrome プラグインに Selenium の力を活用し、それを無料で利用できるようにするオープンソースプロジェクトです。 Selenium IDE を使い始めるには、ブラウザに拡張機能をインストールする以外に追加の設定は必要なく、使いやすく、すぐにフィードバックが得られるツールを提供するというプロジェクトの推進哲学と一致しています。無料

長所:

ユーザーは作成したテストをスクリプトにエクスポートできるので、UI テスト作成のための非常に強力なツールになる
記録する要素ごとに複数のロケーター戦略を提供する
自己修復機能がある (ただし Selenium IDE 以外の Selenium スクリプトでは機能せず、他のソリューションの自己修復機能と同じように信頼できない)

不満。

CI/CD プロセスに直接適合しない
Buggy and a blackbox (何かが記録されない場合、かなり行き詰まり、何が起こっているかを把握するためにコードにエクスポートする必要がある)
Doesn’ use the page object model when building tests
While you can export your tests in many different languages, 現時点ではインポートする機能はありません。
CI 統合機能を提供していますが、既存のフレームワークに直接統合することはできません。 Selenium IDE は使いやすく、Web UI に対して迅速にテストを作成する能力をユーザーに提供します。非常に Selenium フレンドリーであり、フレームワークに慣れている人にとっては自然に感じることでしょう。テストを書くことに興味がなく、UIテストの実践を確立したくないチーム、つまり、作業の大部分をmablに譲り渡すこと。彼らのウェブサイトにログインし、アプリケーションの旅を定義して、それでおしまいです。テストケースや、実際に取り組むべきことは何も与えられません。その時点から、定期的にテストを実行し、成功した実行に関する結果を受け取ることができます。
Pros:
- スマートロケーターを推奨（ただし、ユーザーからは少し見えにくい）
- 自己回復機能は非常によく機能します
- SaaS ソリューション; アクセスと開始が簡単
- 拡張可能な価格モデル
Cons:
- ジャーニーを記録する際にページオブジェクトモデルを使用しない
- 独自のフレームワークを使用し、テストスクリプトのインポートとエクスポートがない
- CI統合は存在するが、そのようなことはない。このソリューションを既存のフレームワークに直接統合することはできない
- 何かが意図したように動作しない場合、「コード」にアクセスして設定または操作することは本当に難しい
- 「ジャーニー」に焦点を当てることで、「機能検証」 (すなわち、「機能」) の作成が困難になります。また、オンプレミスでの展開や、公共のインターネット上で利用できないアプリケーションへのアクセスもできません。
- BDD の組み込みサポートもありません
Key takeaways: mabl は、ユーザーがリリースパイプラインの速度と品質を向上できるよう支援し、アプリケーション UI の変更にかかわらず、自動化を安定させる高度な自動ヒーリングが備わっています。 mablが行うのは、規定の分析で人間は後回しにされるため、基本的にはジャーニーをmablに渡し、ベストを望むことになります。

TestIM

Designed for: 複雑なワークフローの実行パスに焦点を当てた、すぐに使える UI テスト用ソリューションをお探しの企業。

TestIM は SaaS アプリケーションで、自動テスト環境のメンテナンスに時間とエネルギーを費やしている一方で、単純なバグ修正がアプリケーションの別の部分をどのように破壊するかもしれないという不安を感じていた開発者たちによって作られました。そこで、彼らは UI テストのための信じられないほど使いやすいソリューションを作りました。

価格。
- テストは信じられないほど簡単に作成でき、直感的なユーザーインターフェイスを備えています
- スマートロケーターと、それを維持するための優れた戦略を推奨します
- スマートロケーターテクノロジーの一部として、素晴らしい自己回復機能を備えています
短所：

テストを実行するために必要なすべての機能を備えています。
- テストにページオブジェクトモデルを使用していない
- テストスクリプトをインポート/エクスポートする機能がない
- ユーザーはコードにアクセスしたり TestIM からテストを取り出すことができない
- ベンダーロックフレームワーク – スクリプトは TestIM フレームワークにある
- BDDに対する明確なサポート
主要な成果物。 TestIM の技術にアクセスするのはとても簡単で、すぐに使えるテストケースを作成するのもとても簡単です。洗練されたユーザーエクスペリエンスにより、自己回復が魔法のように見えます (自分のユーザーエクスペリエンスを向上させるソリューションを求めるなら、おそらく素晴らしいユーザーエクスペリエンスを持つソリューション自体を信頼できますよね?)。すべてのテストは TestIM フレームワーク内にあるので、そのインフラストラクチャやビジネスモデル、そして将来その会社に何が起ころうと、なすがままになっています。

Functionize

Designed for: 手動テスター、または UI テストの機能として BDD (彼らはそれを「ALP」と呼びます) に取り組んでいる非技術系テスター。

Functionize は、完全な Web UI テストツールに期待されるすべての機能を提供しますが、アプリケーションを使用するだけでテストを作成できる自律テストピッチを含むロケーター戦略に関するいくつかの追加的進歩も備えています。これはすべて、同社独自のフレームワークで実現されています。

価格について。価格情報は公開されていません。

Pros:
- テストフローの優れた視覚的表示
- 要素に対して複数のロケータを推奨
- 自己回復機能
- 従来の BB に対する代替的アプローチ（独自の NLP を使用しています）。従来の BDD (Cucumber など) を行おうとしている場合は、Con (短所) になる可能性があります。
Cons:
- ページオブジェクトモデルを使用しない
- Vendor-locked framework
- No import/export of test scripts
キーポイント FunctionizeのAIは、テストの解約をなくし、テスターの精度と効率を高めるという組織の約束を実現することができるようだ。しかし、どのようにフローに持ち込むかを検討すると、ここではベンダーロックに注意。

Perfecto

Designed for: UI およびモバイルテストのためのワンストップショップを探しているユーザー。スクリプトレスなので、コードを書きたくない人に最適です。

Perfectoはしばらく前から存在し、モバイルテストに大きく焦点を当ててきましたが、作成、メンテナンス、クラウド実行、およびレポートを可能にする素晴らしいUIテストエコシステムがあります。年間サブスクリプションで $99 から $3588+ の間
- Use the page object model (but only in their generated tests)
- Provides multiple locators for recorded web elements
- 最近導入した自己修復（何をするか、どれくらいうまくいくか、したがってどれくらい有用かは少し不明瞭だが）
短所
Use page object model (but only in their generated tests)

ページオブジェクトモデルを使用する。

テストスクリプトは独自の TCL ベースの言語
独自の Selenium スクリプトをインポートできない
CI統合を提供しているが、既存のフレームワークに直接統合できない
BDDは、サードパーティの実装 Project Quantum

キーポイントは、「BDDをサポートすることです」。 Perfecto は、テストスクリプトの維持と記述、テストの管理と検証、および不具合のデバッグに関するソリューションを提供します。 Perfecto の UI テストソリューションでは、ユーザーはスクリプトまたはスクリプトなしの作成を選択でき、最近、メンテナンスと自己回復に関する新機能が追加されました。コードを書きたくなく、テストを継続的に検証するための高度な分析機能を求めているユーザー。

TestCraftはコードレスなSeleniumテスト自動化プラットフォームで、AIテクノロジーと独自の視覚的モデリングを主張し、テストのメンテナンスのオーバーヘッドを排除しながらより速いテストの作成と実行を可能にします。

価格について。価格情報は公開されていません

Pros:

Uses the page object model (but only in their generated tests)
Recommends smart locators, called “smart bindings”
Self-healing is a part of their smart binding technology
A built-in scheduler allows users to execute test flows periodically over time

独自のフレームワークを使用
テストスクリプトをインポート/エクスポートできない
既存のフレームワークに直接統合できない（CI統合はプラグインとして利用可能）
BDD は、サードパーティの実装である Project Quantum

キーテイアウトをサポートします。 TestCraftは、テスト担当者がコーディングなしで完全に自動化されたテストシナリオを作成できる、強力なSaaSアプリケーションです。ユーザーは、テストケースを UI に記録し、そこから TestCraft は、テストが実行される異なる経路の視覚的な表示とともに、すべてのテストフローのモデルを作成します。これにより、複雑な使用パターンを持つユーザーにとって親しみやすいものとなります。

Squish

Design for: GUI やヒューマンマシンインターフェイス (HMI) を、特に複数のプラットフォームにわたってテストする必要があるユーザー。 Squish は、Windows、Java、QT、.NET、Web、iOS、Android、およびその他のテストを自動化します。永久フローティングライセンスは、4,990ユーロで購入可能です。無料トライアルあり。

Pros:

Extensive cross-platform testing support
Powerful optical character recognition (OCR) capabilities
Reliable object identification and verification independent of screen layouts
Good support for scripting languages

Cons:

エンドユーザートレーニングとテクニカルサポートの改善が必要ですが、ほとんどのフィードバックは好意的です
オブジェクトマップに新しいオブジェクトを追加する際にいくつかの問題が報告されています

キーポイントは、以下のとおりです。 GUI とリグレッションテストの両方をサポートする Squish は、プロパティベースのオブジェクト識別を使用して Web UI を評価します。 BDD ワークフローを使用している場合、Squish を IDE に統合することができます。 Chromium の自動化サポートも利用可能です。

AutonomIQ

Designed for: コードとコードレスなソリューションの間の興味深いハイブリッドを探しているユーザー。 (コードはありますが、自然言語処理によって支援されています。)

AutonomIQ には、AI と機械学習に関する強力なメッセージがありますが、何をするものなのでしょうか? このツールは、UIテストの自動化のための3ステップのプロセスを提供します。まず、AIによってアプリケーションを発見し、その発見プロセスからテストケースを構築します。 3つ目のステップは、同社の分析エンジンを使ってテストケースを監視・保守することです」

価格について。価格情報は公開されていません

Pros:

Strong NLP, AI, and ML
Use the page object model (but only in their generated tests)
Recommended smart locator, through their Chrome Plug-in
Self-healing in their execution
従来のBDDに対する代替手法 (using proprietary NLP) です。伝統的な BDD (例) を行おうとしている場合、Con になる可能性があります。 Cucumber）

Cons:

Use a proprietary framework
You can’t import test scripts
Do not directly integrate into your existing framework (CI integrations are available as plugins)
完全に実証済みのテクノロジーではない

キーポイントは？このテクノロジーは、すべてを備え、すべてを行うことができるように思えます。では、なぜ私のリストの最下位にいるのでしょうか？それは、実際のケーススタディや使用例を持つ彼らの顧客を見つけることができなかったからです。しかし、彼らのソリューションが潜在的な結果を得ることができれば、かなり破壊的なものになるでしょう。

Arquidia Mantina

Arquidia Mantina

Top 10 Web UI Test Tools: Web UI テストの自動化