备注
测试引擎已弃用 ,将在将来的版本中删除。 使用 Power Platform Playwright 示例在 Power Platform 和 Dynamics 365 服务中测试自动化功能。
Power Apps测试引擎提供涵盖整个测试生命周期的综合生成 AI 功能。 本页概述了生成式 AI 如何增强您的测试体验,从测试创建到执行和验证。
Test Engine 的生成式 AI 功能解决了测试过程的三个关键领域:
| 生成式 AI 能力 | 描述 |
|---|---|
| 生成式 AI 辅助测试编写 | 使用GitHub Copilot和其他大型语言模型(LLM)或小型语言模型(SLM)快速创建测试 |
| 模型上下文协议服务器 | 使用 MCP 进行确定性分析和代码生成 |
| 非确定性人工智能测试 | 使用特殊的验证技术测试 AI 驱动的应用程序 |
生成型 AI 辅助测试编写
创建全面的测试计划可能非常耗时,尤其是对于复杂的应用程序。 测试引擎通过以下方式支持生成式 AI 辅助创作:
- GitHub Copilot集成:根据应用程序代码生成测试模板、测试步骤和断言
- 自然语言测试创建:用简单的英语描述测试场景并将其翻译成可执行的测试
- 基于样本的测试生成:引用现有样本以创建上下文相关的测试
这种方法有助于测试作者专注于业务逻辑和验证规则,而不是测试语法和样板代码。
模型上下文协议服务器的实现
Power Apps测试引擎包括模型上下文协议 (MCP) 服务器实现,它提供应用程序的确定性分析并生成测试建议。
MCP 服务器:
- 分析应用结构以识别可测试的组件
- 根据控制类型和关系生成测试模式
- 提供上下文代码建议
- 与 MCP 客户端(如 Visual Studio 和 GitHub Copilot)集成
- 使用计划设计器 组织 测试工作并确定其优先级
- 合并解决方案定义元素和数据模式以进行全面测试
- 使用解决方案中的元数据生成上下文相关的测试
当您将确定性分析与生成式 AI 功能相结合时,与单独使用纯生成式方法相比,这种方法可以为您提供更可靠、更准确的测试生成。
测试非确定性 AI 功能
测试使用 AI 功能的应用程序(如 AI Builder 组件或生成式预训练变换模型(GPT))时,需要特别考虑如何处理非确定性的输出。
测试引擎提供:
-
功能
Preview.AIExecutePrompt:使用受控输入执行 AI 提示并验证输出 - 基于容差的验证:验证 AI 输出是否在可接受的阈值内满足预期
- 结构化响应验证:解析和验证复杂的 AI 生成内容
- 基于计划的验证:使用计划设计器定义根据预期标准验证 AI 输出
这些功能确保您即使在使用固有可变的 AI 系统时也可以创建可靠、可重复的测试。
选择正确的生成式 AI 方法
为了获得最佳结果,请考虑以下准则:
| 如果你想... | 考虑使用... |
|---|---|
| 快速生成新应用程序的测试 | 使用 GitHub Copilot 进行生成式 AI 辅助创作 |
| 对可测试组件进行精确、确定的分析 | 模型上下文协议服务器 |
| 将确定性分析与生成功能相结合 | 支持兼容 LLM 客户端的 MCP |
| 使用可变输出测试 AI 驱动的应用程序 | 使用 Preview.AIExecutePrompt 进行非确定性 AI 测试 |
| 根据业务需求构建测试工作 | 具有 MCP 服务器集成的平面设计器 |
| 使用解决方案元数据和数据架构生成测试 | 具有解决方案定义扫描功能的 MCP 服务器 |
相关文章
使用 GitHub Copilot 进行 AI 辅助的测试编写
将模型上下文协议服务器与测试引擎结合使用
测试非确定性 AI 组件
浏览测试引擎示例目录
试用 Test Engine power-fx-functions
使用计划设计器