Freigeben über

YAML-Bereitstellungsvorlage für CLI (v2)

GILT FÜR:Azure CLI ml Erweiterung v2 (current)

Das JSON-Quellschema finden Sie unter https://azuremlschemas.azureedge.net/latest/deploymentTemplate.schema.json.

Hinweis

Die in diesem Dokument beschriebene YAML-Syntax basiert auf dem JSON-Schema für die neueste Version der ML CLI v2-Erweiterung. Die Funktion dieser Syntax wird nur mit der neuesten Version der ML CLI v2-Erweiterung garantiert. Die Schemas für ältere Erweiterungsversionen finden Sie unter https://azuremlschemasprod.azureedge.net/.

YAML-Syntax

Key Typ Description Zulässige Werte Standardwert
$schema Schnur Das YAML-Schema. Wenn Sie die Erweiterung Azure Machine Learning VS Code verwenden, um die YAML-Datei zu erstellen, einschließlich $schema oben in der Datei, können Sie Schema- und Ressourcenabschlusse aufrufen.
name Schnur Erforderlich. Name der Bereitstellungsvorlage.
version Zeichenfolge oder ganze Zahl Version der Bereitstellungsvorlage.
description Schnur Beschreibung der Bereitstellungsvorlage.
tags Objekt Wörterbuch mit Tags für die Bereitstellungsvorlage.
type Schnur Typ der Bereitstellungsvorlage.
deployment_template_type Schnur Erforderlich. Der Bereitstellungsvorlagentyp. "Verwaltet" ist der einzige aktuell zulässige Wert.
environment Schnur Erforderlich. Die Umgebung, die für die Bereitstellungsvorlage verwendet werden soll. Dieser Wert muss ein Verweis auf eine vorhandene versionsbasierte Umgebung in einer Registrierung sein. Verwenden Sie die azureml://registries/<registry-name>/environments/<environment-name>/versions/<version> Syntax.

Hinweis: Arbeitsbereichsbezogene Umgebungen (mithilfe von azureml:<name>:<version> Syntax) und Inlineumgebungsdefinitionen werden für Bereitstellungsvorlagen nicht unterstützt.
environment_variables Objekt Wörterbuch der umgebungsvariablen Schlüsselwertpaare, die für die Bereitstellung festgelegt werden sollen. Sie können über Ihre Bewertungsskripts auf diese Umgebungsvariablen zugreifen.
instance_count Integer Erforderlich. Die Anzahl der Instanzen, die für die Bereitstellung verwendet werden sollen. Geben Sie den Wert basierend auf der erwarteten Arbeitsauslastung an.
default_instance_type Schnur Erforderlich. Der Standardinstanztyp, der bei der Bereitstellung mit dieser Vorlage verwendet werden soll.
allowed_instance_types Schnur Der zulässige Instanztyp, der bei der Bereitstellung mit dieser Vorlage verwendet werden kann.
model_mount_path Schnur Der Pfad zum Bereitstellen des Modells im Container.
scoring_path Schnur Erforderlich. Der Pfad für den Bewertungsendpunkt.
scoring_port Integer Erforderlich. Der Port für den Bewertungsendpunkt.
liveness_probe Objekt Liveness-Prüfpunkteinstellungen für die regelmäßige Überwachung der Integrität des Containers. Siehe ProbeSettings für den Satz konfigurierbarer Eigenschaften.
readiness_probe Objekt Bereitschaftssondeneinstellungen für die Überprüfung, wenn der Container für den Datenverkehr bereit ist. Siehe ProbeSettings für den Satz konfigurierbarer Eigenschaften.
request_settings Objekt Fordern Sie Einstellungen für die Bereitstellung an. Siehe RequestSettings für den Satz konfigurierbarer Eigenschaften.

ProbeSettings

Key Typ Description Standardwert
failure_threshold Integer Wenn ein Messpunkt fehlschlägt, versucht failure_threshold das System zeiten, bevor er aufgibt. Das Aufgeben bei einer Liveness-Sonde bedeutet, dass der Container neu gestartet wird. Bei einer Bereitschaftssonde wird der Container als ungelesen markiert. Der Mindestwert ist 1. 30
initial_delay Integer Die Anzahl der Sekunden, nachdem der Container gestartet wurde, bevor der Sonde initiiert wird. Der Mindestwert ist 1. 10
method Schnur Die HTTP-Methode, die für den Probepunkt verwendet werden soll.
path Schnur Der Pfad für den Sonde.
period Integer Wie oft (in Sekunden) die Probe ausgeführt werden soll. 10
port Integer Der Port zum Sonde.
scheme Schnur Das Schema, das für den Sonde verwendet werden soll (z. B. HTTP oder HTTPS).
success_threshold Integer Die Anzahl der Erfolge, die mindestens aufeinander folgen müssen, damit ein Test nach einem Fehler wieder als erfolgreich betrachtet wird. Der Mindestwert ist 1. 1
timeout Integer Die Anzahl der Sekunden, nach denen der Sonde eine Zeitüberschreitung aufweist. Der Minimalwert ist 1. 2

RequestSettings

Key Typ Description Standardwert
request_timeout_ms Integer Das Anforderungstimeout in Millisekunden. 5000
max_concurrent_requests_per_instance Integer Die maximale Anzahl gleichzeitiger Anforderungen pro Instanz, die für die Bereitstellung zulässig sind. 1

Bemerkungen

Bereitstellungsvorlagen bieten eine wiederverwendbare Konfiguration für die Bereitstellung von Modellen. Sie definieren die Umgebung, Infrastruktureinstellungen und Probekonfigurationen, die beim Erstellen von Bereitstellungen angewendet werden können.

Examples

Im Anschluss finden Sie einige Beispiele.

YAML: einfach

$schema: https://azuremlschemas.azureedge.net/latest/deploymentTemplate.schema.json
name: my-deployment-template
version: 1
description: Basic deployment template example
deployment_template_type: Managed
environment: azureml://registries/my-registry/environments/my-environment/versions/1
instance_count: 1
default_instance_type: Standard_DS3_v2
scoring_path: /score
scoring_port: 5001

YAML: mit Umgebungsvariablen und Probes

$schema: https://azuremlschemas.azureedge.net/latest/deploymentTemplate.schema.json
name: my-deployment-template
version: 1
description: Deployment template with environment variables and health probes
deployment_template_type: Managed
environment: azureml://registries/azureml/environments/minimal-ubuntu20.04-py38-cpu-inference/versions/latest
environment_variables:
  MODEL_PATH: /var/azureml-app/model
  SCORING_TIMEOUT: "60"
instance_count: 3
default_instance_type: Standard_DS3_v2
scoring_path: /score
scoring_port: 8080
liveness_probe:
  initial_delay: 30
  period: 10
  timeout: 2
  success_threshold: 1
  failure_threshold: 3
readiness_probe:
  initial_delay: 10
  period: 5
  timeout: 2
  success_threshold: 1
  failure_threshold: 3
request_settings:
  request_timeout_ms: 10000
  max_concurrent_requests_per_instance: 2

YAML: mit zulässiger Instanztyp

$schema: https://azuremlschemas.azureedge.net/latest/deploymentTemplate.schema.json
name: my-deployment-template-restricted
version: 1
description: Deployment template with instance type restrictions
deployment_template_type: Managed
environment: azureml://registries/my-registry/environments/my-environment/versions/1
instance_count: 1
default_instance_type: Standard_DS3_v2
scoring_path: /score
scoring_port: 5001
allowed_instance_types: Standard_DS3_v2

YAML: mit Modell-Bereitstellungspfad

$schema: https://azuremlschemas.azureedge.net/latest/deploymentTemplate.schema.json
name: my-deployment-template-custom-mount
version: 1
description: Deployment template with custom model mount path
deployment_template_type: Managed
environment: azureml://registries/my-registry/environments/my-environment/versions/1
instance_count: 1
default_instance_type: Standard_DS3_v2
scoring_path: /score
scoring_port: 5001
model_mount_path: /var/azureml-app/models

Nächste Schritte

  • Last updated on