什么是适用于数据工程的 Livy API?

适用于:✅ Fabric Data Engineering 和 Data Science

Microsoft Fabric Livy API 允许用户在与 Fabric Lakehouse 关联的 Spark 计算中提交和执行 Spark 代码,而无需创建任何笔记本或 Spark 作业定义项目。 这种与 Lakehouse 的集成可确保直接访问 OneLake 上存储的数据。

功能

Fabric Livy API 支持以下作业类型:

  • 会话作业 - Livy 会话作业会建立一个 Spark 会话,该会话在与 Livy API 的交互过程中保持活动状态。 会话对于交互式工作负载非常有用。 当作业被提交时,会话开始,并持续到用户结束会话或者系统在 20 分钟不活动后终止会话。 多个作业可以在会话内运行、共享状态和运行之间的缓存数据。
  • 批处理作业 - Livy 批处理作业提交 Spark 应用程序以进行单个作业执行。 与会话作业不同,批处理作业不会持续运行 Spark 会话。 每个作业都会启动一个新的 Spark 会话,该会话在作业完成时结束,该会话适用于不依赖于以前的计算或需要维护状态的任务。
  • 高并发会话 — 高并发(HC)会话通过允许客户端获取多个独立的执行上下文,从而实现 Spark 的并发执行。 每个 HC 会话映射到共享底层 Livy 会话中的 Spark REPL(读取-评估-打印循环),支持并行执行、可预测的资源使用和并发请求之间的隔离。 有关详细信息,请参阅 Fabric Livy API 中的 High 并发支持

注释

高并发支持是累加性的,不会更改现有的 Livy API 协定。 现有的 Livy 会话和批处理工作负荷将继续工作,无需修改。

Livy API 入门