Testar diferentes configurações

Azure DevOps Serviços | Azure DevOps Server | Azure DevOps Server 2022

Os utilizadores instalam ou executam a sua aplicação numa grande variedade de configurações, como diferentes sistemas operativos, navegadores web e outras variações. Faz pelo menos alguns dos teus testes em fases que tenham essas diferentes configurações.

Use os planos de teste para decidir que testes executar em que configurações. Certifica-te de que, quando fizeres os teus testes, configuras os estágios para as configurações de que precisas.

A matriz esquemática seguinte mostra combinações de exemplo que poderá querer testar:

Diagrama que mostra uma matriz de teste das configurações do navegador e do sistema operativo.

Pré-requisitos

Categoria Exigência
Acesso ao projeto Membro do projeto.
Níveis de acesso Para adicionar configurações de teste: nível de projeto Gerir configurações de teste permissão definida para Permitir. Por padrão, os membros dos grupos Contribuidores e Administrador do Projeto têm esta permissão.

Para mais informações, consulte Acesso manual de testes e permissões.

Pré-requisitos para a ferramenta de linha de comando TCM

Categoria Requerimentos
Tools Visual Studio 2017 (Profissional ou Empresarial) ou anterior. O executável TCM (tcm.exe) encontra-se nos seguintes diretórios:
- %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
- %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
- %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
Níveis de acesso Pelo menos acesso básico e adesão ao projeto que queres aceder. Para clonar ou importar planos de teste e conjuntos de testes, precisa de acesso ao Basic + Planos de Teste . Para obter mais informações, consulte Acesso manual de teste e permissões.

Para executar um comando TCM, especifique os /collection parâmetros e /teamproject e /login conforme necessário.

Parâmetro Descrição
/coleção:CollectionURL Obrigatório. Especifica o URI da coleção de projeto de equipe. O formato do URI é o seguinte:
- Para Azure DevOps Serviços: https://dev.azure.com/OrganizationName ou https://OrganizationName.visualstudio.com
- Para Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Se não for utilizado um diretório virtual, o formato é: http://ServerName:Port/CollectionName.
/projeto de equipa:project Obrigatório. O nome do projeto que contém os objetos de teste para os quais você deseja clonar ou importar testes automatizados.
/login:username,[password] Opcional. Especifica o nome e a palavra-passe de um utilizador válido do Azure DevOps que tem permissões para executar o comando. Use esta opção se as suas credenciais do Windows não tiverem as permissões adequadas, se estiver a usar autenticação básica ou se não estiver ligado a um domínio.

Ver configurações e variáveis

Veja as configurações que já estão disponíveis para executar os seus testes.

Consulte uma lista de configurações de teste e variáveis de configuração na página Configurações .

  1. No seu projeto, selecione Planos de Teste>Configurações na área de navegação à esquerda.

    Todas as configurações e variáveis de teste atualmente disponíveis para os seus planos de teste aparecem.

    Captura de ecrã da página de Configurações mostrando configurações de teste e variáveis.

  2. Selecione uma configuração ou variável para ver mais informação no painel à direita.

Criar configurações e variáveis

Uma configuração de teste é uma combinação de valores de variáveis de configuração. Suas variáveis de configuração podem ser, por exemplo, sistema operacional, navegador, tipo de CPU, banco de dados. Uma configuração pode ser "Windows 8 + CPU de 32 bits" ou "Windows 10 + CPU de 64 bits."

Crie primeiro as variáveis de configuração e depois combine múltiplos valores de variáveis para criar uma configuração.

  1. Abra a página de Configurações no portal Web de Planos de Teste, selecione o ícone + e escolha Nova variável de configuração.

    Captura de ecrã da opção Nova variável de configuração no menu Novo.

  2. Introduza um nome para a variável, como Browser, e uma descrição. Selecione Adicionar novo valor e, em seguida, adicione um valor. Adiciona quantos valores precisares à variável de configuração e depois guarda-a.

    Captura de ecrã da adição de valores a uma nova variável de configuração.

  3. Repita as etapas para criar quaisquer outras variáveis de configuração necessárias. Por exemplo, crie uma variável de configuração chamada Sistema operacional com os nomes de cada sistema operacional no qual você deseja testar.

    Captura de ecrã da definição de valores para uma variável de configuração do Sistema Operativo.

  4. Selecione o + ícone e selecione Nova configuração de teste.

    Captura de ecrã da opção de configuração do novo teste no menu Novo.

  5. Introduz um nome para a configuração de teste e adicione as variáveis de configuração que criou. Escolha um valor para cada variável para esta configuração.

    Captura de ecrã da adição de variáveis à nova configuração de teste.

    Certifique-se de que Atribuir a novos planos de teste está selecionado para que esta configuração seja o padrão para todos os novos planos de teste que criar.

  6. Salve sua nova configuração de teste.

Atribuir configurações a planos e suítes de teste

Você pode atribuir configurações a um conjunto de testes ou a um caso de teste individual. As configurações atribuídas a um conjunto de testes aplicam-se a todos os testes ou suítes dentro dele.

  1. Para atribuir uma configuração a um conjunto de testes, na página Planos de teste, selecione um plano. Na área Test Suites, selecione um conjunto de testes e selecione Mais opções ou clique com o botão direito do mouse para abrir o menu de contexto e, em seguida, selecione Atribuir configuração.

    Captura de ecrã da opção de menu Configuração de Atribuição para uma suíte de testes.

    Se adicionares múltiplas configurações a um conjunto de testes, os casos de teste são repetidos com cada uma das configurações que atribuiste.

    Captura de ecrã de múltiplas configurações atribuídas a um conjunto de testes.

  2. Se necessário, substitua a configuração padrão atribuída a um caso de teste e atribua a configuração necessária. Selecione um ou mais casos de teste, abra o menu de contexto e selecione Atribuir configuração.

    Captura de ecrã de atribuir uma configuração a casos de teste.

  3. Procure e selecione as configurações a serem atribuídas aos casos de teste.

    Captura de ecrã da seleção de configurações para um caso de teste.

Atenção

  • Herança de configuração: Alterar configurações numa suíte filha quebra a herança das suas suítes mães. A alteração continua a propagar-se para suítes filhas inferiores, a menos que uma suíte criança já a sobrepeste.
  • Pontos de teste ocultos: Desatribuir uma configuração esconde os seus pontos de teste relacionados. Para as restaurar, reatribua a configuração.

Executar testes com cada configuração

Configure uma plataforma de testes para uma configuração específica, como testar a aplicação usando o Google Chrome no Windows 10.

  1. Selecione e execute um teste que tenha essa configuração atribuída.

    Captura de ecrã de um teste com uma configuração específica e a opção Executar para aplicação web selecionada.

    À medida que você executa o teste, um lembrete da configuração aparece na barra de status.

    Captura de ecrã da configuração deste teste na barra de estado.

Acompanhe os resultados do teste para cada configuração

  1. Abra a página Gráficos do seu conjunto de testes, selecione Novo e selecione Novo gráfico de resultados de teste.

    Captura de ecrã da opção do menu do novo quadro de resultados do teste.

  2. Escolha um tipo de gráfico, como um gráfico circular ou um gráfico de barras, e depois selecione Agrupar por>Configuração e escolher OK.

    Captura de ecrã da escolha de uma opção de configuração para agrupamento por na caixa de diálogo de configuração do gráfico.

    É criado um gráfico que ajuda a acompanhar os seus testes com base nas configurações. Você pode fixar esse gráfico no seu painel.

    Captura de ecrã de um gráfico de barras que mostra os resultados dos testes para Não realizado, Aprovado e Falhado por configuração.

Se um caso de teste aparecer em várias suites de teste, pode definir configurações diferentes para cada suite. O mesmo caso de teste pode ter definições de configuração diferentes em diferentes conjuntos de testes e planos de teste.