Azure HPC 缓存可以加速访问各种学科中高性能计算作业的数据。 但对于所有类型的工作流来说,它并不完美。 本文提供了有关如何确定 HPC 缓存是否适合你的需求的指南。
概述文章还简要概述了何时使用 Azure HPC 缓存以及用例的一些示例。
另请阅读 本文 ,了解如何有效使用 NFS 装载的 Blob 存储。
NFS 版本 3.0 应用程序
Azure HPC 缓存仅支持 NFS 3.0 客户端。
高读写比率
执行读取操作多于写入操作的计算客户端工作负荷通常适合使用缓存。 例如,如果读写比率为 80/20 或 70/30,则 Azure HPC 缓存可以通过从缓存中提供经常请求的文件来提供帮助,而无需从远程存储中获取这些文件。
当首次将文件提取并存储到缓存中时,相较于直接从存储请求文件,客户端请求会有额外的延迟。因此,当客户端下一次请求同一文件时,效率将会提高。 这对于大型文件尤其如此。 如果每个客户端请求是唯一的,则 HPC 缓存的影响受到限制。 但文件越大,首次访问后的性能越好。
基于文件的分析工作负荷
Azure HPC 缓存非常适合使用基于文件的数据的管道,并跨大量计算客户端运行,尤其是在计算客户端是 Azure 虚拟机时。 它可以帮助解决因文件访问时间长而导致的性能缓慢或不一致的问题。
远程数据访问
如果工作负荷需要访问无法靠近计算资源的远程数据,Azure HPC 缓存有助于降低延迟。 例如,记录可能位于 WAN 环境最远端、不同 Azure 区域或客户数据中心。 (这有时称为“文件突发”。
请求量过大
如果大量客户端同时从源请求数据,Azure HPC 缓存可以加快文件访问速度。 例如,与高性能计算群集一起使用时,Azure HPC 缓存通过缓存为大量并发请求提供可伸缩性。
计算资源位于 Azure 中
Azure 虚拟机是高性能计算任务的可缩放且经济高效的解决方案。 Azure HPC 缓存可以通过将所需的信息更接近于它们来提供帮助,尤其是在原始数据存储在远程系统上时。
如果客户希望在 Azure 虚拟机中“按原样”运行其当前管道,Azure HPC 缓存可以提供基于 POSIX 的共享存储(或缓存)解决方案,实现可伸缩性。
通过使用 Azure HPC 缓存,无需重新构建工作管道来对 Azure Blob 存储进行本机调用。 可以在其原始系统上访问数据,或使用 HPC 缓存将其移动到新的 Blob 容器。
后续步骤
- 在 概述 和 先决条件 文章中详细了解如何规划和配置缓存
- 阅读有关将 已启用 NFS 的 Blob 存储 与 Azure HPC 缓存配合使用的注意事项