通过


用于 Fabric 的 NotebookUtils(前 MSSparkUtils)

Notebook 实用工具 (NotebookUtils) 是一个内置包,可帮助在 Fabric Notebook 中轻松执行常见任务。 可以使用 NotebookUtils 来处理文件系统、获取环境变量、将笔记本链在一起以及处理机密。 NotebookUtils 包在 PySpark (Python) Scala、SparkR 笔记本和 Fabric 管道中可用。

Note

  • MsSparkUtils 正式重命名为 NotebookUtils。 现有代码保持 向后兼容 ,不会导致任何中断性变更。 强烈建议升级到 Notebookutils,以确保持续支持和访问新功能。 mssparkutils 命名空间将来会停用。
  • NotebookUtils 旨在与 Spark 3.4(运行时 v1.2)及更高版本配合使用。 从现在起,所有新功能和更新将仅由 notebookutils 命名空间支持。

NotebookUtils 模块

NotebookUtils 提供以下模块。 选择一个模块以查看详细的文档、代码示例和最佳做法。

模块 命名空间 说明
文件系统实用工具 notebookutils.fs 在 ADLS Gen2、Azure Blob 存储和 Lakehouse 存储之间处理文件和目录。 包括复制、移动、读取、写入、删除和列表操作。
文件装载和卸载 notebookutils.fs 将远程存储(ADLS Gen2)作为本地装入点附加到 Spark 节点,以便简化文件访问。
笔记本运行和编排 notebookutils.notebook 运行并串联笔记本,支持并行执行、DAG支撑、跨工作区引用以及退出值的设置。
笔记本管理 notebookutils.notebook 以编程方式创建、获取、更新、删除和列出笔记本项目。
凭据实用工具 notebookutils.credentials 获取 Azure 服务的访问令牌,并从 Azure Key Vault 检索机密。
Lakehouse 实用工具 notebookutils.lakehouse 以编程方式创建、获取、更新、删除和管理 Lakehouse 项和表。
运行时上下文 notebookutils.runtime 访问会话上下文信息,包括笔记本名称、工作区详细信息和执行上下文。
会话管理 notebookutils.session 停止交互式会话并重启 Python 解释器。
用户数据函数 (UDF) 实用工具 notebookutils.udf 从笔记本中检索和调用用户数据函数。
变量库实用工具 notebookutils.variableLibrary 从变量库项访问集中管理的变量和配置。

若要获取所有可用模块和方法的概述,请运行:

notebookutils.help()

若要获取特定模块的帮助,请运行:

notebookutils.fs.help()
notebookutils.notebook.help()
notebookutils.credentials.help()

已知问题

  • 使用高于 1.2 的运行时版本并运行notebookutils.help()时,列出的fabricClientPBIClient API 尚不支持,但将在未来的版本中提供。