Schnellstart: Erstellen eines privaten Azure Kubernetes Service (AKS) automatischen Clusters in einem benutzerdefinierten virtuellen Netzwerk

Erstellen eines virtuellen Netzwerks

Erstellen Sie ein virtuelles Netzwerk mit dem Befehl az network vnet create. Erstellen Sie mithilfe des az network vnet subnet create Befehls ein API-Server-Subnetz und ein Cluster-Subnetz.

Wenn Sie ein benutzerdefiniertes virtuelles Netzwerk mit AKS Automatic verwenden, müssen Sie ein API-Server-Subnetz erstellen und delegieren, um es Microsoft.ContainerService/managedClusters zuzuweisen, was dem AKS-Dienst Berechtigungen zum Einfügen der API-Server-Pods und des internen Lastenausgleichs in dieses Subnetz gewährt. Sie können das Subnetz nicht für andere Workloads, jedoch für mehrere AKS-Cluster im selben virtuellen Netzwerk verwenden. Die kleinste unterstützte API-Serversubnetzgröße ist /28.

az network vnet create --name ${VNET_NAME} \
--resource-group ${RG_NAME} \
--location ${LOCATION} \
--address-prefixes 172.19.0.0/16

az network vnet subnet create --resource-group ${RG_NAME} \
--vnet-name ${VNET_NAME} \
--name apiServerSubnet \
--delegations Microsoft.ContainerService/managedClusters \
--address-prefixes 172.19.0.0/28

az network vnet subnet create --resource-group ${RG_NAME} \
--vnet-name ${VNET_NAME} \
--name clusterSubnet \
--address-prefixes 172.19.1.0/24

Netzwerksicherheitsgruppen-Regeln

Der gesamte Datenverkehr innerhalb des virtuellen Netzwerks ist standardmäßig zulässig. Wenn Sie jedoch Regeln für die Netzwerksicherheitsgruppe (Network Security Group, NSG) zum Einschränken des Datenverkehrs zwischen verschiedenen Subnetzen hinzugefügt haben, stellen Sie sicher, dass die NSG-Sicherheitsregeln die folgenden Kommunikationstypen zulassen:

Erstellen einer verwalteten Identität und Erteilen von Berechtigungen im virtuellen Netzwerk

Erstellen Sie mithilfe des az identity create Befehls eine verwaltete Identität, und rufen Sie die Principal-ID ab. Weisen Sie die Rolle "Netzwerkmitwirkender" im virtuellen Netzwerk mithilfe des az role assignment create Befehls der verwalteten Identität zu.

az identity create \
--resource-group ${RG_NAME} \
 --name ${IDENTITY_NAME} \
 --location ${LOCATION}

IDENTITY_PRINCIPAL_ID=$(az identity show --resource-group ${RG_NAME} --name ${IDENTITY_NAME} --query principalId -o tsv)

az role assignment create \
--scope "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}" \
--role "Network Contributor" \
--assignee ${IDENTITY_PRINCIPAL_ID}

Erstellen eines privaten AKS Automatic Cluster in einem benutzerdefinierten virtuellen Netzwerk

Verwenden Sie zum Erstellen eines privaten AKS Automatic Cluster den Befehl "az aks create ". Beachten Sie die Verwendung der --enable-private-cluster Kennzeichnung.

az aks create \
--resource-group ${RG_NAME} \
--name ${CLUSTER_NAME} \
--location ${LOCATION} \
--apiserver-subnet-id "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}/subnets/apiServerSubnet" \
--vnet-subnet-id "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}/subnets/clusterSubnet" \
--assign-identity "/subscriptions/${SUBSCRIPTION_ID}/resourcegroups/${RG_NAME}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/${IDENTITY_NAME}" \
--sku automatic \
--enable-private-cluster \
--no-ssh-key

Nach wenigen Minuten ist die Ausführung des Befehls abgeschlossen, und es werden Informationen zum Cluster im JSON-Format zurückgegeben.

Herstellen einer Verbindung mit dem Cluster

Wenn ein automatischer AKS-Cluster als privater Cluster erstellt wird, hat der API-Serverendpunkt keine öffentliche IP-Adresse. Um den API-Server zu verwalten, z. B. über kubectl, müssen Sie eine Verbindung über einen Computer herstellen, der Zugriff auf das Azure virtuelle Netzwerk des Clusters hat. Es gibt mehrere Optionen zum Einrichten der Netzwerkkonnektivität mit dem privaten Cluster:

• Erstellen Sie einen virtuellen Computer im selben virtuellen Netzwerk wie der automatische AKS-Cluster mithilfe des az vm create Befehls mit der --vnet-name Kennzeichnung.
• Verwenden Sie einen virtuellen Computer in einem separaten virtuellen Netzwerk, und richten Sie peering für virtuelle Netzwerke ein.
• Verwenden Sie eine ExpressRoute- oder VPN-Verbindung.
• Verwenden Sie eine private Endpunktverbindung .

Das Erstellen eines virtuellen Computers im selben virtuellen Netzwerk wie der AKS-Cluster ist die einfachste Option. ExpressRoute und VPNs fügen Kosten hinzu und erfordern zusätzliche Netzwerkkomplexität. Beim Peering virtueller Netzwerke müssen Sie Ihre Netzwerk-CIDR-Bereiche planen, um sicherzustellen, dass es keine überlappenden Bereiche gibt. Weitere Informationen finden Sie unter "Optionen für das Herstellen einer Verbindung mit dem privaten Cluster ".

Um einen Kubernetes-Cluster zu verwalten, verwenden Sie den Kubernetes-Befehlszeilenclient kubectl. kubectl ist bereits installiert, wenn Sie Azure Cloud Shell verwenden. Führen Sie für die lokale Installation von kubectl den Befehl az aks install-cli aus. AKS Automatic-Cluster sind mit Microsoft Entra ID für Kubernetes rollenbasierte Zugriffskontrolle (RBAC) konfiguriert.

Wenn Sie einen Cluster mithilfe des Azure CLI erstellen, werden Ihrem Benutzer integrierte Rollen zugewiesen für Azure Kubernetes Service RBAC Cluster Admin.

Mit dem Befehl kubectl können Sie für die Verbindungsherstellung mit Ihrem Kubernetes-Cluster konfigurieren. Mit diesem Befehl werden die Anmeldeinformationen heruntergeladen, und die Kubernetes-Befehlszeilenschnittstelle wird für deren Verwendung konfiguriert.

az aks get-credentials --resource-group ${RG_NAME} --name ${CLUSTER_NAME}

Überprüfen Sie die Verbindung mit dem Cluster mithilfe des Befehls kubectl get. Dieser Befehl gibt eine Liste der Clusterknoten zurück.

kubectl get nodes

Die folgende Beispielausgabe zeigt, wie Sie aufgefordert werden, sich anzumelden.

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code AAAAAAAAA to authenticate.

Nachdem Sie sich angemeldet haben, zeigt die folgende Beispielausgabe die verwalteten Systemknotenpools an. Stellen Sie sicher, dass der Knotenstatus Bereit lautet.

NAME                                STATUS   ROLES   AGE     VERSION
aks-nodepool1-13213685-vmss000000   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000001   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000002   Ready    agent   2m26s   v1.28.5

Erstellen eines virtuellen Netzwerks

Diese Bicep Datei definiert ein virtuelles Netzwerk.

@description('The location of the managed cluster resource.')
param location string = resourceGroup().location

@description('The name of the virtual network.')
param vnetName string = 'aksAutomaticVnet'

@description('The address prefix of the virtual network.')
param addressPrefix string = '172.19.0.0/16'

@description('The name of the API server subnet.')
param apiServerSubnetName string = 'apiServerSubnet'

@description('The subnet prefix of the API server subnet.')
param apiServerSubnetPrefix string = '172.19.0.0/28'

@description('The name of the cluster subnet.')
param clusterSubnetName string = 'clusterSubnet'

@description('The subnet prefix of the cluster subnet.')
param clusterSubnetPrefix string = '172.19.1.0/24'

// Virtual network with an API server subnet and a cluster subnet
resource virtualNetwork 'Microsoft.Network/virtualNetworks@2023-09-01' = {
    name: vnetName
    location: location
    properties: {
        addressSpace: {
            addressPrefixes: [ addressPrefix ]
        }
        subnets: [
            {
                name: apiServerSubnetName
                properties: {
                    addressPrefix: apiServerSubnetPrefix
                }
            }
            {
                name: clusterSubnetName
                properties: {
                    addressPrefix: clusterSubnetPrefix
                }
            }
        ]
    }
}

output apiServerSubnetId string = resourceId('Microsoft.Network/virtualNetworks/subnets', vnetName, apiServerSubnetName)
output clusterSubnetId string = resourceId('Microsoft.Network/virtualNetworks/subnets', vnetName, clusterSubnetName)

Speichern Sie die Bicep Datei virtualNetwork.bicep auf Ihren lokalen Computer.

Stellen Sie die Bicep Datei mithilfe des Azure CLI bereit.

az deployment group create --resource-group <resource-group> --template-file virtualNetwork.bicep

Der gesamte Datenverkehr innerhalb des virtuellen Netzwerks ist standardmäßig zulässig. Wenn Sie jedoch Regeln für die Netzwerksicherheitsgruppe (Network Security Group, NSG) zum Einschränken des Datenverkehrs zwischen verschiedenen Subnetzen hinzugefügt haben, stellen Sie sicher, dass die NSG-Sicherheitsregeln die folgenden Kommunikationstypen zulassen:

Erstellen einer verwalteten Identität

Diese Bicep Datei definiert eine vom Benutzer zugewiesene verwaltete Identität.

param location string = resourceGroup().location
param uamiName string = 'aksAutomaticUAMI'

resource userAssignedManagedIdentity 'Microsoft.ManagedIdentity/userAssignedIdentities@2023-01-31' = {
  name: uamiName
  location: location
}

output uamiId string = userAssignedManagedIdentity.id
output uamiPrincipalId string = userAssignedManagedIdentity.properties.principalId
output uamiClientId string = userAssignedManagedIdentity.properties.clientId

Speichern Sie die Bicep Datei uami.bicep auf Ihren lokalen Computer.

Stellen Sie die Bicep Datei mithilfe des Azure CLI bereit.

az deployment group create --resource-group <resource-group> --template-file uami.bicep

Zuweisen der Rolle „Netzwerkmitwirkender“ für das virtuelle Netzwerk

Diese Bicep Datei definiert Rollenzuweisungen über das virtuelle Netzwerk.

@description('The name of the virtual network.')
param vnetName string = 'aksAutomaticVnet'

@description('The principal ID of the user assigned managed identity.')
param uamiPrincipalId string

// Get a reference to the virtual network
resource virtualNetwork 'Microsoft.Network/virtualNetworks@2023-09-01' existing ={
  name: vnetName
}

// Assign the Network Contributor role to the user assigned managed identity on the virtual network
// '4d97b98b-1d4f-4787-a291-c67834d212e7' is the built-in Network Contributor role definition
// See: https://learn.microsoft.com/en-us/azure/role-based-access-control/built-in-roles/networking#network-contributor
resource networkContributorRoleAssignmentToVirtualNetwork 'Microsoft.Authorization/roleAssignments@2022-04-01' = {
  name: guid(uamiPrincipalId, '4d97b98b-1d4f-4787-a291-c67834d212e7', resourceGroup().id, virtualNetwork.name)
  scope: virtualNetwork
  properties: {
      roleDefinitionId: resourceId('Microsoft.Authorization/roleDefinitions', '4d97b98b-1d4f-4787-a291-c67834d212e7')
      principalId: uamiPrincipalId
  }
}

Speichern Sie die Bicep Datei roleAssignments.bicep auf Ihren lokalen Computer.

Stellen Sie die Bicep Datei mithilfe des Azure CLI bereit. Sie müssen die Prinzipal-ID der benutzerseitig zugewiesenen Identität angeben.

az deployment group create --resource-group <resource-group> --template-file roleAssignments.bicep \
--parameters uamiPrincipalId=<user assigned identity prinicipal id>

Erstellen eines privaten AKS Automatic Cluster in einem benutzerdefinierten virtuellen Netzwerk

Diese Bicep Datei definiert den automatischen AKS-Cluster.

@description('The name of the managed cluster resource.')
param clusterName string = 'aksAutomaticCluster'

@description('The location of the managed cluster resource.')
param location string = resourceGroup().location

@description('The resource ID of the API server subnet.')
param apiServerSubnetId string

@description('The resource ID of the cluster subnet.')
param clusterSubnetId string

@description('The resource ID of the user assigned managed identity.')
param uamiId string

/// Create the private AKS Automatic cluster using the custom virtual network and user assigned managed identity
resource aks 'Microsoft.ContainerService/managedClusters@2024-03-02-preview' = {
  name: clusterName
  location: location  
  sku: {
    name: 'Automatic'
  }
  properties: {
    agentPoolProfiles: [
      {
        name: 'systempool'
        mode: 'System'
          count: 3
        vnetSubnetID: clusterSubnetId
      }
    ]
    apiServerAccessProfile: {
        subnetId: apiServerSubnetId
        enablePrivateCluster: true
    }
    networkProfile: {
      outboundType: 'loadBalancer'
    }
  }
  identity: {
    type: 'UserAssigned'
    userAssignedIdentities: {
      '${uamiId}': {}
    }
  }
}

Speichern Sie die Bicep Datei aks.bicep auf Ihren lokalen Computer.

Stellen Sie die Bicep Datei mithilfe des Azure CLI bereit. Sie müssen die API-Server-Subnetzressourcen-ID, die Cluster-Subnetzressourcen-ID und die vom Benutzer zugewiesene Identitätsprinzipal-ID angeben.

az deployment group create --resource-group <resource-group> --template-file aks.bicep \
--parameters apiServerSubnetId=<API server subnet resource id> \
--parameters clusterSubnetId=<cluster subnet resource id> \
--parameters uamiPrincipalId=<user assigned identity prinicipal id>

Herstellen einer Verbindung mit dem Cluster

Wenn ein automatischer AKS-Cluster als privater Cluster erstellt wird, hat der API-Serverendpunkt keine öffentliche IP-Adresse. Um den API-Server zu verwalten, z. B. über kubectl, müssen Sie eine Verbindung über einen Computer herstellen, der Zugriff auf das Azure virtuelle Netzwerk des Clusters hat. Es gibt mehrere Optionen zum Einrichten der Netzwerkkonnektivität mit dem privaten Cluster:

• Erstellen Sie einen virtuellen Computer im selben virtuellen Netzwerk wie der automatische AKS-Cluster mithilfe des az vm create Befehls mit der --vnet-name Kennzeichnung.
• Verwenden Sie einen virtuellen Computer in einem separaten virtuellen Netzwerk, und richten Sie peering für virtuelle Netzwerke ein.
• Verwenden Sie eine ExpressRoute- oder VPN-Verbindung.
• Verwenden Sie eine private Endpunktverbindung .

Das Erstellen eines virtuellen Computers im selben virtuellen Netzwerk wie der AKS-Cluster ist die einfachste Option. ExpressRoute und VPNs (virtuelle private Netzwerke) erhöhen die Kosten und erfordern zusätzliche Netzwerkkomplexität. Beim Peering virtueller Netzwerke müssen Sie Ihre Netzwerk-CIDR-Bereiche planen, um sicherzustellen, dass es keine überlappenden Bereiche gibt. Weitere Informationen finden Sie unter "Optionen für das Herstellen einer Verbindung mit dem privaten Cluster ".

Um einen Kubernetes-Cluster zu verwalten, verwenden Sie den Kubernetes-Befehlszeilenclient kubectl. kubectl ist bereits installiert, wenn Sie Azure Cloud Shell verwenden. Führen Sie für die lokale Installation von kubectl den Befehl az aks install-cli aus. AKS Automatic-Cluster sind mit Microsoft Entra ID für Kubernetes rollenbasierte Zugriffskontrolle (RBAC) konfiguriert.

Mit dem Befehl kubectl können Sie für die Verbindungsherstellung mit Ihrem Kubernetes-Cluster konfigurieren. Mit diesem Befehl werden die Anmeldeinformationen heruntergeladen, und die Kubernetes-Befehlszeilenschnittstelle wird für deren Verwendung konfiguriert.

az aks get-credentials --resource-group <resource-group> --name <cluster-name>

Überprüfen Sie die Verbindung mit dem Cluster mithilfe des Befehls kubectl get. Dieser Befehl gibt eine Liste der Clusterknoten zurück.

kubectl get nodes

Die folgende Beispielausgabe zeigt, wie Sie aufgefordert werden, sich anzumelden.

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code AAAAAAAAA to authenticate.

Nachdem Sie sich angemeldet haben, zeigt die folgende Beispielausgabe die verwalteten Systemknotenpools an. Stellen Sie sicher, dass der Knotenstatus Bereit lautet.

NAME                                STATUS   ROLES   AGE     VERSION
aks-nodepool1-13213685-vmss000000   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000001   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000002   Ready    agent   2m26s   v1.28.5