通过

Mosaic AI Model Serving 上支持的基础模型

本文介绍了可以使用 Mosaic AI Model Serving 服务的基础模型。

基础模型是大型、预先训练的神经网络，这些神经网络在大型和广泛的数据上进行训练。 这些模型旨在了解语言、图像或其他数据类型的常规模式，并可以针对具有其他训练的特定任务进行微调。 某些基础模型的使用受模型条款和可接受的使用策略的约束。 请参阅 适用的模型术语。

模型服务提供灵活的选项，用于根据需求托管和查询基础模型：

  • 按令牌付费：非常适合试验和快速探索。 此选项允许在 Databricks 工作区中查询预配置的终结点，而无需预先做出基础结构承诺。
  • AI 函数（批处理推理）：Databricks 托管的模型中有一部分子集被优化用于 AI 函数。 可以使用这些函数及其支持的模型将 AI 应用到数据并大规模运行批量推理生产工作负荷。
  • 预配的吞吐量：建议用于需要性能保证的生产用例。 此选项允许使用优化的服务终结点部署微调的基础模型。
  • 外部模型：此选项允许访问 Databricks 外部托管的基础模型，例如 OpenAI 或 Anthropic 提供的基础模型。 可以在 Databricks 中集中管理这些模型，以便简化治理。

基础模型托管在 Databricks 上

Databricks 托管最先进的开放基础模型，如 Meta Llama。 这些模型是使用 基础模型 API 提供的。

下表总结了在每个区域中基于模型服务功能支持的 Databricks 托管模型和模型系列。

重要说明

  • Anthropic Claude 3.7 Sonnet 将于 2026 年 4 月 12 日退役。 有关建议的替换模型以及有关如何在弃用期间迁移的指导，请参阅 “停用”模型 。
  • Meta Llama 4 Maverick 适用于公共预览版中基础模型 API 预配吞吐量工作负荷。
  • Meta-Llama-3.1-405B-Instruct 不再可用于按令牌付费工作负荷。 从 2026 年 5 月 15 日开始，它还将停用预配吞吐量工作负荷。 有关建议的替换模型以及有关如何在弃用期间迁移的指导，请参阅 “停用”模型 。
  • 几个旧款机型系列已经停产。 有关已停用模型及其推荐替代品的完整列表，请参阅已停用模型。
区域 基础模型 API（按令牌付费） AI 函数（批处理推理） 基础模型 API（预配吞吐量）
australiacentral 不支持 不支持 不支持
australiacentral2 不支持 不支持 不支持
australiaeast 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B⥂
    • Meta Llama 4 特立独行（预览版）⥂
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
australiasoutheast 不支持 不支持 不支持
brazilsouth 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • 元 Llama 4 特立独行者⥂ （预览）
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B⥂
    • Meta Llama 3.1⥂
    • GTE v1.5 （英语）⥂
    • BGE v1.5 （英语）⥂
canadacentral 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • 元 Llama 4 特立独行者⥂ （预览）
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B⥂
    • Meta Llama 3.1⥂
    • GTE v1.5 （英语）⥂
    • BGE v1.5 （英语）⥂
canadaeast 不支持 不支持 不支持
centralindia 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • 元 Llama 4 特立独行者⥂ （预览）
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B⥂
    • Meta Llama 3.1⥂
    • GTE v1.5 （英语）⥂
    • BGE v1.5 （英语）⥂
centralus 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
chinaeast2 不支持 不支持 不支持
chinaeast3 不支持 不支持 不支持
chinanorth2 不支持 不支持 不支持
chinanorth3 不支持 不支持 不支持
eastasia 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • 元 Llama 4 特立独行者⥂ （预览）
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B⥂
    • Meta Llama 3.1⥂
    • GTE v1.5 （英语）⥂
    • BGE v1.5 （英语）⥂
eastus 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
eastus2 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
francecentral 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
germanywestcentral 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
japaneast 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • 元 Llama 4 特立独行者⥂ （预览）
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B⥂
    • Meta Llama 3.1⥂
    • GTE v1.5 （英语）⥂
    • BGE v1.5 （英语）⥂
japanwest 不支持 不支持 不支持
koreacentral 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • 元 Llama 4 小牛⥂
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B⥂
    • Meta Llama 3.1⥂
mexicocentral 不支持 不支持 不支持
northcentralus 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
northeurope 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
norwayeast 不支持 不支持 不支持
qatarcentral 不支持 不支持 不支持
southafricanorth 不支持 不支持 不支持
southcentralus 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
southeastasia 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • 元 Llama 4 特立独行者⥂ （预览）
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B⥂
    • Meta Llama 3.1⥂
    • GTE v1.5 （英语）⥂
    • BGE v1.5 （英语）⥂
southindia 不支持 不支持 不支持
swedencentral 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
switzerlandnorth 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
switzerlandwest 不支持 不支持 不支持
uaenorth 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • 元 Llama 4 特立独行者⥂ （预览）
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B⥂
    • Meta Llama 3.1⥂
    • GTE v1.5 （英语）⥂
    • BGE v1.5 （英语）⥂
uksouth 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • 元 Llama 4 特立独行者⥂ （预览）
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B⥂
    • Meta Llama 3.1⥂
    • GTE v1.5 （英语）⥂
    • BGE v1.5 （英语）⥂
ukwest 不支持 不支持 不支持
westcentralus 不支持 不支持 不支持
westeurope 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
westindia 不支持 不支持 不支持
westus 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
westus2 支持以下模型：
 支持以下模型：
  • 实时推理支持以下模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B
    • Meta Llama 4 Maverick（预览版）
    • Meta Llama 3.3
    • 元 Llama 3.2 3B
    • 元 Llama 3.2 1B
    • Meta Llama 3.1
    • GTE v1.5 （英语）
    • BGE v1.5 （英语）
westus3 不支持 不支持 不支持

⥂ 基于 GPU 可用性支持此模型，需要 启用跨地域路由。

访问 Databricks 外部托管的基础模型

在 Databricks 上也可以使用外部模型访问 LLM 提供商（如 OpenAI 和 Anthropic）创建的基础模型。 这些模型托管在 Databricks 外部，你可以创建一个终结点来查询它们。 可以从Azure Databricks集中管理这些终结点，从而简化组织中各种 LLM 提供商的使用和管理。

下表提供了一个包含支持的模型和相应端点类型的非详尽列表 。 可以使用列出的模型关联来帮助你为任何新发布的模型类型配置终结点，前提是这些模型在给定的提供商处可用。 客户有责任确保遵循适用的模型许可证。

注释

随着 LLM 的快速发展，不能保证此列表随时处于最新状态。 通常支持来自同一提供程序的新模型版本，即使它们不在列表中也是如此。

模型提供商 llm/v1/补全 llm/v1/chat llm/v1/嵌入
OpenAI**
  • gpt-3.5-turbo-instruct
  • babbage-002
  • davinci-002
  • o1
  • o1-mini
  • o1-mini-2024-09-12
  • gpt-3.5-turbo
  • gpt-4
  • gpt-4-turbo
  • gpt-4-turbo-2024-04
  • gpt-4o
  • gpt-4o-2024-05-13
  • gpt-4o-mini
  • text-embedding-ada-002
  • text-embedding-3-large
  • text-embedding-3-small
Azure OpenAI**
  • text-davinci-003
  • gpt-35-turbo-instruct
  • o1
  • o1-mini
  • gpt-35-turbo
  • gpt-35-turbo-16k
  • gpt-4
  • gpt-4-turbo
  • gpt-4-32k
  • gpt-4o
  • gpt-4o-mini
  • text-embedding-ada-002
  • text-embedding-3-large
  • text-embedding-3-small
Anthropic
  • claude-1
  • claude-1.3-100k
  • claude-2
  • claude-2.1
  • claude-2.0
  • claude-instant-1.2
  • claude-3-5-sonnet-latest
  • claude-3-5-俳句-最新
  • claude-3-5-opus-latest
  • claude-3-5-sonnet-20241022
  • claude-3-5-haiku-20241022
  • claude-3-5-sonnet-20240620
  • claude-3-haiku-20240307
  • claude-3-opus-20240229
  • claude-3-sonnet-20240229
Cohere**
  • 指令
  • command-light
  • command-r7b-12-2024
  • command-r-plus-08-2024
  • command-r-08-2024
  • Command-R-Plus
  • command-r
  • 指令
  • command-light-nightly
  • command-light
  • command-nightly
  • embed-english-v2.0（嵌入式英语-v2.0）
  • embed-multilingual-v2.0
  • embed-english-light-v2.0
  • embed-english-v3.0
  • embed-english-light-v3.0
  • embed-multilingual-v3.0
  • embed-multilingual-light-v3.0
Mosaic AI 模型服务 Databricks 服务终结点 Databricks 服务终结点 Databricks 服务终结点
Amazon Bedrock Anthropic：
  • claude-instant-v1
  • claude-v2

Cohere：
  • command-text-v14
  • command-light-text-v14

AI21 实验室：
  • j2-grande-instruct
  • j2-jumbo-instruct
  • j2-mid
  • j2-mid-v1
  • j2-ultra
  • j2-ultra-v1
 Anthropic：
  • claude-3-5-sonnet-20241022-v2：0
  • claude-3-5-haiku-20241022-v1：0
  • claude-3-opus-20240229-v1：0
  • claude-3-sonnet-20240229-v1：0
  • claude-3-5-sonnet-20240620-v1：0

Cohere：
  • command-r-plus-v1:0
  • command-r-v1:0

亚马逊河：
  • nova-lite-v1：0
  • nova-micro-v1：0
  • nova-pro-v1：0
 亚马逊河：
  • titan-embed-text-v2:0
  • titan-embed-text-v1
  • titan-embed-g1-text-02

Cohere：
  • embed-english-v3
  • embed-multilingual-v3
AI21 实验室†
  • j2-mid
  • j2-轻量
  • j2-ultra
Google Cloud Vertex AI text-bison
  • chat-bison
  • gemini-pro
  • gemini-1.0-pro
  • gemini-1.5-pro
  • gemini-1.5-flash
  • gemini-2.0-flash
  • text-embedding-004
  • text-embedding-005
  • textembedding-gecko

** 模型提供商支持经过微调的补全和聊天模型。 若要查询微调的模型，请使用优化模型的名称填充 name 配置的 external model 字段。

†模型提供商支持自定义补全模型。

创建基础模型服务终结点

若要在 AI 应用程序中查询和使用基础模型，必须先创建提供终结点的模型。 模型服务使用统一的 API 和 UI 来创建和更新基础模型服务终结点。

查询基础模型服务终结点

创建服务终结点后，可以查询基础模型。 模型服务使用与 OpenAI 兼容的统一 API 和 SDK 来查询基础模型。 这种统一体验简化了跨受支持云和提供商进行试验和自定义生产的基础模型的方式。

请参阅使用基础模型。

  • Last updated on