Azure DevOps 服务 |Azure DevOps Server |Azure DevOps Server 2022
将自动化测试与测试用例相关联,以便在测试代码和要求之间实现可跟踪性。 将自动化测试方法链接到测试用例工作项时,可以:
- 运行自动化测试从测试计划中获取 — 使用 Visual Studio Test 或 Azure Test Plans 任务,根据需要或作为 CI/CD 管道的一部分,从 Azure Test Plans 中触发自动化测试。
- 跟踪需求质量 - 当测试用例与需求(用户故事、PBIs)链接时,自动化测试结果将流经,以显示需求级质量。 有关详细信息,请参阅 要求可追溯性。
- 在测试计划中查看结果 — 在 测试运行中心查看自动测试通过/失败结果以及手动测试结果。
先决条件
| 类别 | 要求 |
|---|---|
| 项目访问 | 项目成员。 |
| 访问级别 | - 若要查看与测试相关的工作项或运行测试用例:至少 基本 访问权限。 具有 利益干系人 访问权限的用户无权访问测试计划。 - 若要练习各种与测试相关的功能:Basic + 测试计划访问级别或以下Visual Studio订阅之一: - 企业 - 测试专业人员 - MSDN 平台 |
| 权限 |
区域路径权限: - 若要添加或修改测试计划、测试套件、测试用例或其他基于测试的工作项类型:编辑此节点中的工作项设置为“允许”。 - 若要修改测试计划属性,例如生成和测试设置:管理设置为“允许”的测试计划。 - 若要创建和删除测试套件,请从测试套件中添加和删除测试用例,或更改与测试套件关联的测试配置:管理设置为“允许”的测试套件。 项目级权限: - 若要查看、创建或删除测试运行,请将查看测试运行、创建测试运行和删除测试运行的权限设置为“允许”。 - 若要管理测试配置或测试环境:管理测试配置和管理设置为“允许”的测试环境。 - 若要向基于测试的工作项添加新标记:标记定义设置为允许。 - 若要永久删除基于测试的工作项:永久删除设置为“允许”的工作项。 |
有关详细信息,请参阅手动测试访问和权限。
支持的测试框架
下表显示了哪些测试框架支持Visual Studio和Azure DevOps中的关联:
| Framework | Visual Studio 中的关联 | Azure DevOps中的关联 |
|---|---|---|
| MSTest v1/v2 | 已支持 | 已支持 |
| NUnit | 已支持 | 已支持 |
| xUnit | 已支持 | 已支持 |
| Selenium | 已支持 | 已支持 |
| 编码的 UI 测试 | 已支持 | 已支持 |
| Python (PyTest) | 不支持 | 已支持 |
| Java(马文和格雷德尔) | 不支持 | 已支持 |
注释
使用 .NET Core 框架的测试可以在使用 Visual Studio 2017 版本 15.9 或更高版本时与测试用例相关联。 在 .runsettings 文件中指定适当的目标框架。
创建测试项目和生成管道
- 创建包含自动测试的测试项目。 有关详细信息,请参阅 支持的框架表。
- 将测试项目签入 Azure Repos 或连接的 GitHub 存储库。
- 为项目创建包含自动测试的生成管道。 有关详细信息,请参阅 创建第一个管道。
在 Visual Studio 中关联自动化测试
使用Visual Studio在以下情况下将自动测试与测试用例相关联:
- 自动执行现有的手动测试用例 — 你创建了一个手动测试用例,后来为同一方案编写了自动测试。 通过将它们关联起来,可以从测试计划或 CI/CD 管道运行自动化版本。
- 启用端到端可跟踪性 - 当测试用例链接到要求时,自动化测试结果会为这些要求建立质量指标。
在 Visual Studio 2017 或更高版本(企业版或专业版)中打开解决方案。
找到测试用例工作项 ID。 可以在 Azure Test Plans 或查询工作项中找到它。
在测试资源管理器中,选择你要关联的测试方法,然后选择“关联到测试用例”。
注释
如果 测试资源管理器 不可见,请从 “测试 ”菜单打开它。 如果未显示测试,请先编译解决方案。
在对话框中,输入测试用例 ID,选择 “添加关联”,然后选择“ 保存”。
重要
- 可以将测试方法与多个测试用例相关联,但不能将多个测试方法与单个测试用例相关联。
- 测试用例参数仅适用于手动测试迭代。 自动测试不使用在测试用例工作项上定义的参数。
关联测试后,可以使用
在 Azure DevOps 中关联自动化测试
还可以直接从 Azure DevOps Web 门户关联自动测试,而无需使用Visual Studio。 此方法支持所有测试框架,包括无法从Visual Studio关联的Python和Java测试。
从生成管道关联
转到 管道 并选择运行自动测试的管道。
选择包含测试结果的生成运行。
在“ 测试 ”选项卡上,找到要链接到测试用例的自动测试。
选择测试,然后选择 “关联测试用例”。
找到要关联的测试用例,然后选择 “关联”。
从工作项中进行关联
打开测试用例工作项,并转到 “关联自动化 ”选项卡。
选择“浏览”。
在侧面板中,选择之前运行测试的管道和特定运行。
选择要关联的测试,然后选择 “关联测试”。
关联自动化测试后,可以使用 Azure 测试计划任务或 Visual Studio 测试任务将它们作为管道的一部分运行。 有关详细信息,请参阅从测试计划运行自动测试。
自动化状态字段
测试用例工作项上的 “自动化状态 ”字段反映测试用例是否链接到自动化测试方法:
- 未自动化测试或计划 — 当测试用例没有关联的测试方法时显示。
- 自动化 - 当测试用例具有关联的测试方法时显示。
如果默认值与组织的需求不匹配,可以在测试用例工作项类型上创建自定义 选取列表字段 。
常见问题
问:是否可以使用来自GitHub存储库的测试?
答: 是的。 只要使用 Visual Studio 测试任务在 Azure Pipelines 中运行自动测试或使用 Publish 测试结果任务报告测试结果,自动测试就可以与测试用例关联。 在测试可用之前,必须至少运行一次。
问:是否可以将工作项配置为在Visual Studio中打开?
答: 是的。 若要在 Visual Studio 而不是 Web 浏览器中打开测试工作项,请在 Visual Studio 中的 Tools | Options 菜单中更改 Work Items | 常规 设置。