Guida introduttiva: Creare un cluster privato Servizio Azure Kubernetes (AKS) Automatico in una rete virtuale personalizzata

Creare una rete virtuale

Creare una rete virtuale usando il comando az network vnet create. Creare una subnet del server API e una subnet del cluster usando il comando az network vnet subnet create.

Quando si usa una rete virtuale personalizzata con servizio Azure Kubernetes Automatico, è necessario creare e delegare una subnet del server API a Microsoft.ContainerService/managedClusters, che concede al servizio Azure Kubernetes le autorizzazioni per inserire i pod del server API e il servizio di bilanciamento del carico interno in tale subnet. Non è possibile usare la subnet per altri carichi di lavoro, ma è possibile usarla per più cluster del servizio Azure Kubernetes che si trovano nella stessa rete virtuale. Le dimensioni minime supportate della subnet del server API sono /28.

az network vnet create --name ${VNET_NAME} \
--resource-group ${RG_NAME} \
--location ${LOCATION} \
--address-prefixes 172.19.0.0/16

az network vnet subnet create --resource-group ${RG_NAME} \
--vnet-name ${VNET_NAME} \
--name apiServerSubnet \
--delegations Microsoft.ContainerService/managedClusters \
--address-prefixes 172.19.0.0/28

az network vnet subnet create --resource-group ${RG_NAME} \
--vnet-name ${VNET_NAME} \
--name clusterSubnet \
--address-prefixes 172.19.1.0/24

Regole dei gruppi di sicurezza di rete

Per impostazione predefinita, tutto il traffico all'interno della rete virtuale è consentito. Tuttavia, se sono state aggiunte regole del gruppo di sicurezza di rete (NSG) per limitare il traffico tra subnet diverse, assicurarsi che le regole di sicurezza del gruppo di sicurezza di rete consentano i tipi di comunicazione seguenti:

Creare un'identità gestita e concedere le autorizzazioni per la rete virtuale

Creare un'identità gestita utilizzando il comando az identity create e recuperare l'ID dell'entità di sicurezza. Assegnare il ruolo Collaboratore di rete sulla rete virtuale all'identità gestita usando il comando az role assignment create.

az identity create \
--resource-group ${RG_NAME} \
 --name ${IDENTITY_NAME} \
 --location ${LOCATION}

IDENTITY_PRINCIPAL_ID=$(az identity show --resource-group ${RG_NAME} --name ${IDENTITY_NAME} --query principalId -o tsv)

az role assignment create \
--scope "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}" \
--role "Network Contributor" \
--assignee ${IDENTITY_PRINCIPAL_ID}

Creare un cluster privato AKS Automatic in una rete virtuale personalizzata

Per creare un cluster automatico privato di Azure Kubernetes Service, utilizzare il comando az aks create. Si noti l'uso del --enable-private-cluster flag.

az aks create \
--resource-group ${RG_NAME} \
--name ${CLUSTER_NAME} \
--location ${LOCATION} \
--apiserver-subnet-id "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}/subnets/apiServerSubnet" \
--vnet-subnet-id "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}/subnets/clusterSubnet" \
--assign-identity "/subscriptions/${SUBSCRIPTION_ID}/resourcegroups/${RG_NAME}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/${IDENTITY_NAME}" \
--sku automatic \
--enable-private-cluster \
--no-ssh-key

Il comando viene completato dopo pochi minuti e vengono restituite informazioni in formato JSON sul cluster.

Connettersi al cluster

Quando un cluster automatico AKS viene creato come cluster privato, l'endpoint del server API non ha un indirizzo IP pubblico. Per gestire il server API, ad esempio tramite kubectl, è necessario connettersi tramite un computer che abbia accesso alla rete virtuale Azure del cluster. Sono disponibili diverse opzioni per stabilire la connettività di rete al cluster privato:

• Creare una macchina virtuale nella stessa rete virtuale del cluster del servizio Azure Kubernetes automatico utilizzando il comando az vm create con il flag --vnet-name.
• Utilizzare una macchina virtuale in una rete virtuale separata e configurare il peering di rete virtuale.
• Usare una connessione ExpressRoute o VPN .
• Usare una connessione endpoint privato.

La creazione di una macchina virtuale nella stessa rete virtuale del cluster del servizio Azure Kubernetes è l'opzione più semplice. ExpressRoute e VPN aggiungono costi e richiedono una maggiore complessità di rete. Il peering di rete virtuale richiede la pianificazione degli intervalli CIDR della rete per assicurarsi che non siano presenti intervalli sovrapposti. Per altre informazioni, vedere Opzioni per la connessione al cluster privato .

Per gestire un cluster Kubernetes, usare il client da riga di comando kubernetes kubectl. kubectl è già installato se si usa Azure Cloud Shell. Per installare kubectl localmente, eseguire il comando az aks install-cli . I cluster automatici di AKS sono configurati con Microsoft Entra ID per il controllo degli accessi basato sui ruoli (RBAC) di Kubernetes.

Quando si crea un cluster usando l'interfaccia della riga di comando di Azure, all'utente vengono assegnati ruoli predefiniti per servizio Azure Kubernetes RBAC Cluster Admin.

Configurare kubectl per connettersi al cluster Kubernetes usando il comando az aks get-credentials. Questo comando scarica le credenziali e configura l'interfaccia della riga di comando di Kubernetes per usarle.

az aks get-credentials --resource-group ${RG_NAME} --name ${CLUSTER_NAME}

Verificare la connessione al cluster usando il comando kubectl get. Questo comando restituisce un elenco dei nodi del cluster.

kubectl get nodes

L'output di esempio seguente mostra come viene richiesto di accedere.

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code AAAAAAAAA to authenticate.

Dopo l'accesso, l'output di esempio seguente mostra i pool di nodi di sistema gestiti. Assicurarsi che lo stato del nodo sia Pronto.

NAME                                STATUS   ROLES   AGE     VERSION
aks-nodepool1-13213685-vmss000000   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000001   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000002   Ready    agent   2m26s   v1.28.5

Creare una rete virtuale

Questo file Bicep definisce una rete virtuale.

@description('The location of the managed cluster resource.')
param location string = resourceGroup().location

@description('The name of the virtual network.')
param vnetName string = 'aksAutomaticVnet'

@description('The address prefix of the virtual network.')
param addressPrefix string = '172.19.0.0/16'

@description('The name of the API server subnet.')
param apiServerSubnetName string = 'apiServerSubnet'

@description('The subnet prefix of the API server subnet.')
param apiServerSubnetPrefix string = '172.19.0.0/28'

@description('The name of the cluster subnet.')
param clusterSubnetName string = 'clusterSubnet'

@description('The subnet prefix of the cluster subnet.')
param clusterSubnetPrefix string = '172.19.1.0/24'

// Virtual network with an API server subnet and a cluster subnet
resource virtualNetwork 'Microsoft.Network/virtualNetworks@2023-09-01' = {
    name: vnetName
    location: location
    properties: {
        addressSpace: {
            addressPrefixes: [ addressPrefix ]
        }
        subnets: [
            {
                name: apiServerSubnetName
                properties: {
                    addressPrefix: apiServerSubnetPrefix
                }
            }
            {
                name: clusterSubnetName
                properties: {
                    addressPrefix: clusterSubnetPrefix
                }
            }
        ]
    }
}

output apiServerSubnetId string = resourceId('Microsoft.Network/virtualNetworks/subnets', vnetName, apiServerSubnetName)
output clusterSubnetId string = resourceId('Microsoft.Network/virtualNetworks/subnets', vnetName, clusterSubnetName)

Salvare il file di Bicep virtualNetwork.bicep nel computer locale.

Distribuire il file Bicep usando interfaccia della riga di comando di Azure.

az deployment group create --resource-group <resource-group> --template-file virtualNetwork.bicep

Per impostazione predefinita, tutto il traffico all'interno della rete virtuale è consentito. Tuttavia, se sono state aggiunte regole del gruppo di sicurezza di rete (NSG) per limitare il traffico tra subnet diverse, assicurarsi che le regole di sicurezza del gruppo di sicurezza di rete consentano i tipi di comunicazione seguenti:

Creare un'identità gestita

Questo file Bicep definisce un'identità gestita assegnata dall'utente.

param location string = resourceGroup().location
param uamiName string = 'aksAutomaticUAMI'

resource userAssignedManagedIdentity 'Microsoft.ManagedIdentity/userAssignedIdentities@2023-01-31' = {
  name: uamiName
  location: location
}

output uamiId string = userAssignedManagedIdentity.id
output uamiPrincipalId string = userAssignedManagedIdentity.properties.principalId
output uamiClientId string = userAssignedManagedIdentity.properties.clientId

Salvare il file Bicep uami.bicep nel computer locale.

Distribuire il file Bicep usando interfaccia della riga di comando di Azure.

az deployment group create --resource-group <resource-group> --template-file uami.bicep

Assegnare il ruolo Collaboratore della rete nella rete virtuale

Questo file Bicep definisce le assegnazioni di ruolo nella rete virtuale.

@description('The name of the virtual network.')
param vnetName string = 'aksAutomaticVnet'

@description('The principal ID of the user assigned managed identity.')
param uamiPrincipalId string

// Get a reference to the virtual network
resource virtualNetwork 'Microsoft.Network/virtualNetworks@2023-09-01' existing ={
  name: vnetName
}

// Assign the Network Contributor role to the user assigned managed identity on the virtual network
// '4d97b98b-1d4f-4787-a291-c67834d212e7' is the built-in Network Contributor role definition
// See: https://learn.microsoft.com/en-us/azure/role-based-access-control/built-in-roles/networking#network-contributor
resource networkContributorRoleAssignmentToVirtualNetwork 'Microsoft.Authorization/roleAssignments@2022-04-01' = {
  name: guid(uamiPrincipalId, '4d97b98b-1d4f-4787-a291-c67834d212e7', resourceGroup().id, virtualNetwork.name)
  scope: virtualNetwork
  properties: {
      roleDefinitionId: resourceId('Microsoft.Authorization/roleDefinitions', '4d97b98b-1d4f-4787-a291-c67834d212e7')
      principalId: uamiPrincipalId
  }
}

Salvare il file di Bicep roleAssignments.bicep nel computer locale.

Distribuire il file Bicep usando interfaccia della riga di comando di Azure. È necessario specificare l'ID entità di sicurezza dell'identità assegnata dall'utente.

az deployment group create --resource-group <resource-group> --template-file roleAssignments.bicep \
--parameters uamiPrincipalId=<user assigned identity prinicipal id>

Creare un cluster privato AKS Automatic in una rete virtuale personalizzata

Questo file Bicep definisce il cluster automatico di AKS.

@description('The name of the managed cluster resource.')
param clusterName string = 'aksAutomaticCluster'

@description('The location of the managed cluster resource.')
param location string = resourceGroup().location

@description('The resource ID of the API server subnet.')
param apiServerSubnetId string

@description('The resource ID of the cluster subnet.')
param clusterSubnetId string

@description('The resource ID of the user assigned managed identity.')
param uamiId string

/// Create the private AKS Automatic cluster using the custom virtual network and user assigned managed identity
resource aks 'Microsoft.ContainerService/managedClusters@2024-03-02-preview' = {
  name: clusterName
  location: location  
  sku: {
    name: 'Automatic'
  }
  properties: {
    agentPoolProfiles: [
      {
        name: 'systempool'
        mode: 'System'
          count: 3
        vnetSubnetID: clusterSubnetId
      }
    ]
    apiServerAccessProfile: {
        subnetId: apiServerSubnetId
        enablePrivateCluster: true
    }
    networkProfile: {
      outboundType: 'loadBalancer'
    }
  }
  identity: {
    type: 'UserAssigned'
    userAssignedIdentities: {
      '${uamiId}': {}
    }
  }
}

Salvare il file Bicep aks.bicep nel computer locale.

Distribuire il file Bicep usando interfaccia della riga di comando di Azure. È necessario specificare l'ID risorsa della subnet del server API, l'ID risorsa della subnet del cluster e l'ID entità di sicurezza dell'identità assegnata dall'utente.

az deployment group create --resource-group <resource-group> --template-file aks.bicep \
--parameters apiServerSubnetId=<API server subnet resource id> \
--parameters clusterSubnetId=<cluster subnet resource id> \
--parameters uamiPrincipalId=<user assigned identity prinicipal id>

Connettersi al cluster

Quando un cluster automatico AKS viene creato come cluster privato, l'endpoint del server API non ha un indirizzo IP pubblico. Per gestire il server API, ad esempio tramite kubectl, è necessario connettersi tramite un computer che abbia accesso alla rete virtuale Azure del cluster. Sono disponibili diverse opzioni per stabilire la connettività di rete al cluster privato:

• Creare una macchina virtuale nella stessa rete virtuale del cluster del servizio Azure Kubernetes automatico utilizzando il comando az vm create con il flag --vnet-name.
• Utilizzare una macchina virtuale in una rete virtuale separata e configurare il peering di rete virtuale.
• Usare una connessione ExpressRoute o VPN .
• Usare una connessione endpoint privato.

La creazione di una macchina virtuale nella stessa rete virtuale del cluster del servizio Azure Kubernetes è l'opzione più semplice. Express Route e VPN aggiungono costi e richiedono una maggiore complessità di rete. Il peering di rete virtuale richiede la pianificazione degli intervalli CIDR della rete per assicurarsi che non siano presenti intervalli sovrapposti. Per altre informazioni, vedere Opzioni per la connessione al cluster privato .

Per gestire un cluster Kubernetes, usare il client da riga di comando kubernetes kubectl. kubectl è già installato se si usa Azure Cloud Shell. Per installare kubectl localmente, eseguire il comando az aks install-cli . I cluster automatici di AKS sono configurati con Microsoft Entra ID per il controllo degli accessi basato sui ruoli (RBAC) di Kubernetes.

Configurare kubectl per connettersi al cluster Kubernetes usando il comando az aks get-credentials. Questo comando scarica le credenziali e configura l'interfaccia della riga di comando di Kubernetes per usarle.

az aks get-credentials --resource-group <resource-group> --name <cluster-name>

Verificare la connessione al cluster usando il comando kubectl get. Questo comando restituisce un elenco dei nodi del cluster.

kubectl get nodes

L'output di esempio seguente mostra come viene richiesto di accedere.

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code AAAAAAAAA to authenticate.

Dopo l'accesso, l'output di esempio seguente mostra i pool di nodi di sistema gestiti. Assicurarsi che lo stato del nodo sia Pronto.

NAME                                STATUS   ROLES   AGE     VERSION
aks-nodepool1-13213685-vmss000000   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000001   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000002   Ready    agent   2m26s   v1.28.5