異なる構成のテスト

Azure DevOps サービス |Azure DevOps Server |Azure DevOps Server 2022

ユーザーは、さまざまなオペレーティング システム、Web ブラウザー、その他のバリエーションなど、さまざまな構成でアプリをインストールまたは実行します。 少なくとも一部のテストを、構成が異なるステージで実行します。

テスト 計画を使用して、どの構成で実行するテストを決定します。 テストを実行するときに、必要な構成のステージを設定していることを確認します。

次のスケマティック マトリックスは、テストする可能性のある組み合わせの例を示しています。

ブラウザーとオペレーティング システムの構成のテスト マトリックスを示す図。

前提条件

カテゴリ 必要条件
プロジェクトアクセス プロジェクトメンバー
アクセス レベル テスト構成を追加するには、Project レベルの Manage テスト構成アクセス許可を Allow に設定します。 既定では、共同作成者グループとProject管理者グループのメンバーには、このアクセス許可があります。

詳細については、「 手動テストアクセスとアクセス許可」を参照してください。

TCM コマンドライン ツールの前提条件

カテゴリ 要件
ツール Visual Studio 2017 (Professional または Enterprise) 以前。 TCM 実行可能ファイル (tcm.exe) は、次のディレクトリにあります。
- %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
- %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
- %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
アクセス レベル 少なくともアクセスしたいプロジェクトの基本アクセスとメンバーシップが必要です。 テスト 計画とテスト スイートを複製またはインポートするには、 Basic + Test Plans アクセスが必要です。 詳細については、「手動テストのアクセスおよび許可」を参照してください。

TCM コマンドを実行するには、 /collection パラメーターと /teamproject パラメーターを指定し、必要に応じて /login します。

パラメーター 説明
/コレクション:CollectionURL 必須。 チーム プロジェクト コレクションの URI を指定します。 URI の形式は次のとおりです。
- Azure DevOps サービスの場合: https://dev.azure.com/OrganizationName または https://OrganizationName.visualstudio.com
- Azure DevOps Serverの場合: http://ServerName:Port/VirtualDirectoryName/CollectionName。 仮想ディレクトリが使用されていない場合、形式は http://ServerName:Port/CollectionName です。
/teamproject:project 必須。 自動テストを複製またはインポートするテスト オブジェクトを含むプロジェクトの名前。
/login:username,[password] 省略可能。 コマンドを実行するアクセス許可を持つ有効なAzure DevOps ユーザーの名前とパスワードを指定します。 Windows資格情報に適切なアクセス許可がない場合、基本認証を使用している場合、またはドメインに接続していない場合は、このオプションを使用します。

構成と変数を表示する

テストの実行に既に使用できる構成を表示します。

[ 構成] ページからテスト構成と構成変数の一覧を表示します。

  1. プロジェクトで、左側のナビゲーション領域から [ Test Plans>Configurations ] を選択します。

    テスト計画で現在使用できるすべてのテスト構成と変数が表示されます。

    テスト構成と変数を示す [構成] ページのスクリーンショット。

  2. 構成または変数を選択すると、右側のペインに詳細情報が表示されます。

構成と変数を作成する

テスト構成は、構成変数値の組み合わせです。 構成変数は、オペレーティング システム、ブラウザー、CPU の種類、データベースなどです。 構成には、"Windows 8 + 32 ビット CPU" または "Windows 10 + 64 ビット CPU" があります。

最初に構成変数を作成してから、複数の変数値を組み合わせて構成を作成します。

  1. [テスト計画] Web ポータルで [構成] ページを開き、+ アイコンを選択して、[新しい構成変数] を選択します。

    [新規] メニューの [新しい構成変数] オプションのスクリーンショット。

  2. 変数の名前 ( Browser など) と説明を入力します。 [新しい値を追加] を選択し、値を追加します。 構成変数に必要な数の値を追加し、保存します。

    新しい構成変数に値を追加するスクリーンショット。

  3. 手順を繰り返して、必要なその他の構成変数を作成します。 たとえば、Operating system という名前の構成変数を、テスト対象の各オペレーティング システムの名前で作成します。

    オペレーティング システム構成変数の設定値のスクリーンショット。

  4. + アイコンを選択し、[新しいテスト構成] を選択します。

    [新規] メニューの [新しいテスト構成] オプションのスクリーンショット。

  5. テスト構成の名前を入力し、作成した構成変数を追加します。 この構成の各変数の値を選択します。

    新しいテスト構成に変数を追加するスクリーンショット。

    [ 新しいテスト 計画に割り当てる] が選択されていることを確認して、この構成を作成するすべての新しいテスト 計画の既定値にします。

  6. 新しいテスト構成を保存します。

テスト 計画とスイートに構成を割り当てる

構成は、テスト スイートまたは個々のテスト ケースに割り当てることができます。 テスト スイートに割り当てられた構成は、その中のすべてのテストまたはスイートに適用されます。

  1. テスト スイートに構成を割り当てるには、[テスト計画] ページでプランを選択します。 [テスト スイート] 領域で、テスト スイートを選択し、[その他のオプション] を選択するか右クリックしてコンテキスト メニューを開き、[構成の割り当て] を選択します。

    テスト スイートの [構成の割り当て] メニュー オプションのスクリーンショット。

    テスト スイートに複数の構成を追加すると、割り当てた各構成でテスト ケースが繰り返されます。

    テスト スイートに割り当てられている複数の構成のスクリーンショット。

  2. 必要に応じて、テスト ケースに割り当てられている既定の構成をオーバーライドし、必要な構成を割り当てます。 1 つ以上のテスト ケースを選択し、コンテキスト メニューを開き、[構成の割り当て] を選択します。

    テスト ケースに構成を割り当てるスクリーンショット。

  3. テスト ケースに割り当てる構成を検索して選択します。

    テスト ケースの構成を選択するスクリーンショット。

注意事項

  • 構成の継承: 子スイートで構成を変更すると、親スイートからの継承が解除されます。 変更は、子スイートによって既にオーバーライドされていない限り、さらに下位の子スイートにも伝播します。
  • 非表示のテスト ポイント: 構成の割り当てを解除すると、関連するテスト ポイントが非表示になります。 復元するには、構成を再割り当てします。

各構成でテストを実行する

Windows 10で Google Chrome を使用してアプリをテストするなど、特定の構成のテスト プラットフォームを設定します。

  1. この構成が割り当てられているテストを選択して実行します。

    特定の構成と [Web アプリケーションの実行] オプションが選択されているテストのスクリーンショット。

    テストを実行すると、ステータス バーに構成のリマインダーが表示されます。

    ステータス バーのこのテストの構成のスクリーンショット。

各構成のテスト結果を追跡する

  1. テスト スイートの [チャート] ページを開き、[新規] を選択し、[新しいテスト結果グラフ] を選択します。

    [新しいテスト結果グラフ] メニュー オプションのスクリーンショット。

  2. 円グラフや横棒グラフなどのグラフの種類を選択し、[グループ化>構成] を選択し、[OK] を選択します

    [グラフの構成] ダイアログ ボックスでグループ化の構成オプションを選択するスクリーンショット。

    構成に基づいてテストを追跡するのに役立つグラフが作成されます。 このグラフはダッシュボードにピン留めできます。

    未実行、成功、失敗のテスト結果を構成別に示す横棒グラフのスクリーンショット。

テスト ケースが複数のテスト スイートに表示される場合は、スイートごとに異なる構成を設定できます。 同じテスト ケースで、異なるテスト スイートとテスト 計画で異なる構成設定を設定できます。