Notebook 实用工具 (NotebookUtils) 是一个内置包,可帮助在 Fabric Notebook 中轻松执行常见任务。 可以使用 NotebookUtils 来处理文件系统、获取环境变量、将笔记本链在一起以及处理机密。 NotebookUtils 包在 PySpark (Python) Scala、SparkR 笔记本和 Fabric 管道中可用。
Note
- MsSparkUtils 正式重命名为 NotebookUtils。 现有代码保持 向后兼容 ,不会导致任何中断性变更。 强烈建议升级到 Notebookutils,以确保持续支持和访问新功能。 mssparkutils 命名空间将来会停用。
- NotebookUtils 旨在与 Spark 3.4(运行时 v1.2)及更高版本配合使用。 从现在起,所有新功能和更新将仅由 notebookutils 命名空间支持。
NotebookUtils 模块
NotebookUtils 提供以下模块。 选择一个模块以查看详细的文档、代码示例和最佳做法。
| 模块 | 命名空间 | 说明 |
|---|---|---|
| 文件系统实用工具 | notebookutils.fs |
在 ADLS Gen2、Azure Blob 存储和 Lakehouse 存储之间处理文件和目录。 包括复制、移动、读取、写入、删除和列表操作。 |
| 文件装载和卸载 | notebookutils.fs |
将远程存储(ADLS Gen2)作为本地装入点附加到 Spark 节点,以便简化文件访问。 |
| 笔记本运行和编排 | notebookutils.notebook |
运行并串联笔记本,支持并行执行、DAG支撑、跨工作区引用以及退出值的设置。 |
| 笔记本管理 | notebookutils.notebook |
以编程方式创建、获取、更新、删除和列出笔记本项目。 |
| 凭据实用工具 | notebookutils.credentials |
获取 Azure 服务的访问令牌,并从 Azure Key Vault 检索机密。 |
| Lakehouse 实用工具 | notebookutils.lakehouse |
以编程方式创建、获取、更新、删除和管理 Lakehouse 项和表。 |
| 运行时上下文 | notebookutils.runtime |
访问会话上下文信息,包括笔记本名称、工作区详细信息和执行上下文。 |
| 会话管理 | notebookutils.session |
停止交互式会话并重启 Python 解释器。 |
| 用户数据函数 (UDF) 实用工具 | notebookutils.udf |
从笔记本中检索和调用用户数据函数。 |
| 变量库实用工具 | notebookutils.variableLibrary |
从变量库项访问集中管理的变量和配置。 |
若要获取所有可用模块和方法的概述,请运行:
notebookutils.help()
若要获取特定模块的帮助,请运行:
notebookutils.fs.help()
notebookutils.notebook.help()
notebookutils.credentials.help()
已知问题
- 使用高于 1.2 的运行时版本并运行
notebookutils.help()时,列出的fabricClient和PBIClient API 尚不支持,但将在未来的版本中提供。