你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。

在 Azure Kubernetes 服务 (AKS) 中为节点自动预配 (NAP) 配置 AKSNodeClass 资源

本文介绍如何配置 AKSNodeClass 资源,以便使用 Karpenter 在 Azure Kubernetes 服务 (AKS) 中,为节点自动调配 (NAP) 定义 Azure 特定的设置。 AKSNodeClass 允许自定义 Karpenter 预配的节点的各个方面,例如虚拟机(VM)映像、操作系统(OS)磁盘大小、每个节点的最大 Pod 数和 kubelet 配置。

重要

从2025年11月30日开始,Azure Kubernetes 服务 (AKS) 不再支持或提供 Azure Linux 2.0 的安全更新。 Azure Linux 2.0 节点映像在 202512.06.0 版中被冻结。 从 2026 年 10 月 31 日开始,将删除节点映像,并且无法缩放节点池。 迁移到受支持的 Azure Linux 版本,方法是将节点池升级到受支持的 Kubernetes 版本或迁移到 osSku AzureLinux3。 有关详细信息,请参阅 退役GitHub问题和 Azure 更新退休公告。 若要随时了解公告和更新,请按照 AKS 发行说明进行操作。

AKSNodeClass 资源概述

AKSNodeClass资源允许为 NAP 配置特定于Azure的设置。 每个 NodePool 资源都必须使用 AKSNodeClass 引用 spec.template.spec.nodeClassRef。 您可以有多个NodePools指向同一个AKSNodeClass,从而可以在不同的节点池之间共享通用的Azure配置。

Kubernetes 和节点映像版本

NAP 允许你使用 spec.versions 中的 AKSNodeClass 字段来控制 Kubernetes 和节点映像版本。 如果省略 spec.versions,节点 Kubernetes 版本遵循观察到的 AKS 控制平面版本,NAP 会自动解析兼容的节点映像。 当控制平面版本增加时,NAP 会将节点视为 Drifted,将映像标记为未就绪,并为新的 Kubernetes 版本解析映像。 NAP 当前不会自动降级节点 Kubernetes 版本。

有关支持的 Kubernetes 版本和节点映像版本的最新列表,请参阅 AKS 发布跟踪器。

固定 Kubernetes 版本

将 spec.versions.kubernetesVersion 设置为固定节点 Kubernetes 版本。 指定完整 major.minor.patch 版本。 AKS 支持该版本,并且它与控制平面兼容:它具有相同的主版本,不能具有更高的次要版本,并且不能落后超过三个次要版本。 如果节点和控制平面使用相同的次要版本,则节点修补版本不能高于控制平面修补程序版本。 无效的格式、不兼容版本或不支持的目标使 Kubernetes 版本条件为 false,因此 AKSNodeClass 尚未准备好进行预配。

固定节点映像版本

将 spec.versions.nodeImageVersion 设置为固定节点映像版本的后缀。 此值是映像 ID 中 /versions/ 之后的后缀,而不是完整的映像 ID 或任意值。 请求的后缀必须作为 AKSNodeClass 当前解析的映像、最新映像版本或最近使用的映像版本的状态存在。 最近使用的映像版本必须与其记录的 Kubernetes 版本配对。 Kubernetes 版本和映像版本必须同时指定: nodeImageVersion 需要 kubernetesVersion。 如果在固定当前或最新映像版本时更改 Kubernetes 版本,则组合也必须是最近使用的 Kubernetes 和映像版本对。

固定镜像版本可防止镜像自动前滚。 若要恢复自动图像选择,请删除 nodeImageVersion;如果需要,可以保留 kubernetesVersion 固定。 以下示例显示了这两个字段。 将值替换为支持的 Kubernetes 版本和用于您的 AKSNodeClass 的符合条件的映像版本后缀:

spec:
  versions:
    kubernetesVersion: "1.34.0"
    nodeImageVersion: "2026.09.23"

重要

更改现有 AKSNodeClass 上的设置不会就地重新配置正在运行的节点。 NAP 将先前配置中预配的节点标记为已偏移,并替换它们,受到引用 NodePool 资源的中断控制的约束。 tags 字段是唯一的例外,因为标记更改会应用于现有 Azure 资源,而不会替换节点。 若要了解详细信息,请参阅 Drift 和 中断预算。 在修改 AKSNodeClass 生产工作负荷之前,请查看本指南。

映像系列配置

该 imageFamily 字段为通过预配 AKSNodeClass的节点设置默认 VM 映像和引导逻辑。 如果未指定映像系列,将使用 Kubernetes 版本的默认 OS 版本。 兼容 VM 大小的两个映像系列都支持 GPU。 有关每个 Kubernetes 版本的默认 OS 版本的详细信息,请参阅 AKS OS 版本文档。

支持的映像系列

  • Ubuntu:Ubuntu 是 AKS 节点的默认 Linux 分发版。
    • OS 版本默认值会根据您的 Kubernetes 版本而变化。 对于 Kubernetes 1.25 到 1.33 版本,默认使用 Ubuntu 22.04。 对于 Kubernetes 1.34 及更高版本,默认使用 Ubuntu 24.04。
  • AzureLinux:Azure Linux 是 Microsoft 为 AKS 工作负载提供的替代 Linux 发行版。 有关详细信息,请参阅 Azure Linux 文档。
  • AzureContainerLinux:AKS 1.34 及更高版本支持 Azure 容器 Linux。 使用第 2 代 VM 并显式启用两个受信任的启动设置,即使你不需要它们:
    • 将 security.trustedLaunch.vtpm 设置为 true。
    • 将 security.trustedLaunch.secureBoot 设置为 true。
    • 如果设置 osDiskSizeGB,请使用至少 60 的值。
    • 不要将此映像系列与其映像不支持的设置组合在一起。 有关详细信息,请参阅AKS 上的 Azure 容器 Linux。
  • Windows2022:Windows Server 2022处于预览状态。 它需要 AMD64 体系结构,并且不支持 Cilium 数据平面。 Windows2022 不支持 FIPS 或受信任的启动。 请勿配置 linuxOSConfig、启用工件流式传输或将 LocalDNS 设置为非 Disabled 模式。
  • Windows2025:Windows Server 2025 处于预览状态。 它需要 AMD64 体系结构,并且不支持 Cilium 数据平面。 即使省略 fipsMode,也需要 FIPS 并有效启用。 请勿配置 linuxOSConfig、启用工件流式传输或将 LocalDNS 设置为非 Disabled 模式。

示例映像系列配置

以下示例将 AKSNodeClass 配置为使用 AzureLinux 映像系列:

spec:
  imageFamily: AzureLinux

Azure容器 Linux 配置

以下示例使用具有所需受信任启动设置的 Azure Container Linux。 它省略 osDiskSizeGB ,以便平台选择受支持的磁盘大小。

apiVersion: karpenter.azure.com/v1beta1
kind: AKSNodeClass
metadata:
  name: azure-container-linux
spec:
  imageFamily: AzureContainerLinux
  security:
    trustedLaunch:
      vtpm: true
      secureBoot: true

Windows OS 支持(预览版)

注意

AKS 预览功能可在自助服务和自愿选择的基础上启用。 预览版按“现状”和“视供应情况”提供,它们不包括在服务级别协议和有限保证范围内。 AKS 预览功能是由客户支持尽最大努力部分覆盖。 因此,这些功能并不适合用于生产。 有关详细信息,请参阅以下支持文章:

NAP 支持 Windows2022 和 Windows2025 映像。

  • Windows2022:Windows Server 2022处于预览状态。 它需要 AMD64 体系结构,并且不支持 Cilium 数据平面。 Windows2022 不支持 FIPS 或受信任的启动。 请勿配置 linuxOSConfig、启用工件流式传输或将 LocalDNS 设置为非 Disabled 模式。
  • Windows2025:Windows Server 2025 处于预览状态。 它需要 AMD64 体系结构,并且不支持 Cilium 数据平面。 即使省略 fipsMode,也需要 FIPS 并有效启用。 请勿配置 linuxOSConfig、启用工件流式传输或将 LocalDNS 设置为非 Disabled 模式。

Windows2022 配置

apiVersion: karpenter.azure.com/v1beta1
kind: AKSNodeClass
metadata:
  name: windows-2025
spec:
  imageFamily: Windows2025

Windows2025 配置

apiVersion: karpenter.azure.com/v1beta1
kind: AKSNodeClass
metadata:
  name: windows-2025
spec:
  imageFamily: Windows2025
  security:
    trustedLaunch:
      vtpm: true
      secureBoot: true

重要

Windows 镜像系列处于预览阶段。 使用选择kubernetes.io/arch: amd64和NodePool的 Windows kubernetes.io/os: windows,并确保工作负荷也选择 Windows 节点。 有关详细信息,请参阅 为 AKS 上的节点自动预配配置节点池。

符合 FIPS 的节点映像配置

还可以启用符合联邦信息处理标准(FIPS)的节点映像。 有关 AKS 中的 FIPS 的详细信息,请参阅 FIPS 文档。

该 fipsMode 字段默认设置为“已禁用”,可设置为以下选项:

  • FIPS - 选择符合 FIPS 的节点映像
  • 已禁用 - 不使用符合 FIPS 的节点映像

以下示例配置了“AKSNodeClass”,通过将 fipsMode 设置为 FIPS 来选择符合 FIPS 的节点映像:

spec:
  fipsMode: FIPS

实例级公共 IP 配置

可以通过将nodePublicIP.enabled设置为true,为每个 NAP 预配的节点分配公共 IPv4 地址。 可以选择指定 ipTags 或 prefixIDs。 使用一个或另一个,而不是两者。

使用带有前缀的实例级公共 IP

(可选)使用 prefixIDs指定一个 IPv4 公共 IP 前缀。 前缀必须与群集位于同一区域。 对于区域前缀,请将对应的NodePool限制在同一可用区。 不能同时指定 ipTags 和 prefixIDs 一起使用 - 只使用一个。

群集标识需要权限才能使用公共 IP 前缀(如果指定)以及创建和管理节点公共 IP 资源。 有关完整的设置、网络安全和验证指南,请参阅 “使用节点公共 IP 地址”。

apiVersion: karpenter.azure.com/v1beta1
kind: AKSNodeClass
metadata:
  name: public-ip-nodes
spec:
  nodePublicIP:
    enabled: true
    # Optional. Specify at most one IPv4 public IP prefix resource ID.
    prefixIDs:
      - /subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Network/publicIPPrefixes/<prefix-name>

将实例级公共 IP 与 IP 标记一起使用,使用互联网路由首选项

以下示例演示如何将实例级公共 IP 与 IP 标记配合使用:

apiVersion: karpenter.azure.com/v1beta1
kind: AKSNodeClass
metadata:
  name: public-ip-nodes
spec:
  nodePublicIP:
    enabled: true
    ipTags:
      - ipTagType: RoutingPreference
        tag: Internet
    # Optional. Specify at most one IPv4 public IP prefix resource ID.
    prefixIDs:
      - /subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Network/publicIPPrefixes/<prefix-name>

项目流式处理

工件流式传输允许你将容器镜像从 Azure 容器注册表 (ACR) 流式传输到 Azure Kubernetes 服务 (AKS)。 AKS 仅拉取初始 pod 启动所需的层,减少了部署工作负荷所需的时间。

先决条件

  • 工件流式传输要求具有与 AKS 群集集成的高级层 ACR。
  • 必须在 ACR 中启用工件流式传输。

有关在 ACR 中启用制品流式传输的说明,请参阅 制品流式传输 文档。

在 NAP 群集中启用工件流式传输

启用了节点自动预配 (NAP)的群集可以使用 AKSNodeClass CRD 的 spec.artifactStreaming.enabled 字段来启用工件流式传输。 将此字段设置为 true 可为与此 AKSNodeClass CRD 关联的任何新或现有 NAP 托管节点启用工件流式传输。

apiVersion: karpenter.azure.com/v1beta1
kind: AKSNodeClass
metadata:
  name: my-node-class
spec:
  # Enables artifact streaming; To use this feature container images must also enable artifact streaming on ACR
  # Valid values: true, false; defaults to false if not specified
  artifactStreaming:
    enabled: 
      true

注意

若要在 AKS NAP 托管节点上使用项目流式处理,还必须在 Azure 容器注册表 (ACR) 中启用项目流式处理。 如果未在 ACR 中设置此选项,则字段默认为 false。

虚拟网络(VNet)子网配置

vnetSubnetID 字段指定应将哪些Azure VNet 子网用于预配节点网络接口。 此字段可选。 如果未指定子网,NAP 将使用在 Karpenter 安装过程中配置的默认子网。 有关详细信息,请参阅 NAP 的子网配置。

示例子网配置

子网 ID 必须采用完整的Azure 资源管理器(ARM)格式,如以下示例所示:

spec:
  vnetSubnetID: "/subscriptions/{subscription-id}/resourceGroups/{resource-group}/providers/Microsoft.Network/virtualNetworks/{vnet-name}/subnets/{subnet-name}"

容量预留组配置

使用spec.capacityReservation.groupID将从AKSNodeClass预配的节点与现有的Azure容量预留组(CRG)相关联。 指定组的完整资源 ID,而不是成员预留。 从相关 AKSNodeClass 中预配的每个节点都以该组为目标。

在开始之前,请配置 CRG 标识权限。 使用与群集位于同一 Targeted 订阅和区域中的组,至少有一个成员预留处于预配状态 Succeeded ,以便实现兼容的 VM 大小和放置。 在 NAP 中启用之前,请查看 AKS 容量预留组限制 。

将容量预留组与 NAP 管理的节点相关联

以下示例为位于Standard_D8s_v5中的eastus-1台 VM 的成员预留创建一个类和池。 将资源 ID、VM 大小和区域替换为你的预留所对应的值。

    apiVersion: karpenter.azure.com/v1beta1
    kind: AKSNodeClass
    metadata:
      name: reserved
    spec:
      capacityReservation:
        groupID: /subscriptions/<subscription-id>/resourceGroups/<crg-resource-group>/providers/Microsoft.Compute/capacityReservationGroups/<crg-name>

对于区域性、无可用区成员,请将 topology.kubernetes.io/zone 要求替换为:

- key: karpenter.azure.com/placement-scope
  operator: In
  values: ["regional"]

重要

关联是启动约束,而不是首选项:从此类启动的每个节点都面向该组。 它不会将启动数量限制在预留数量内,也不保证每个节点占用一个由 SLA 支持的预留单位。 节点保持标记 karpenter.sh/capacity-type: on-demand;不要将 reserved 用作容量类型。 对于未关联的容量,请使用不使用 capacityReservation 的单独类以及引用它的池。

在现有类上添加、更改或删除 groupID 会导致 偏移和节点替换,具体取决于引用池的中断控制。 它不会原地更新正在运行的节点。 如果需要避免替换引用现有类的节点,请使用新的类和池。

status.capacityReservationGroup 报告组的 ID、位置、区域和成员预留,包括其 VM 大小、数量和预配状态。 它描述预留配置,而不是当前利用率或哪些节点占用预留单位。

设置 capacityReservation 后,status.conditions 在类准备就绪之前必须包含处于 "True" 状态的 CapacityReservationGroupReady。 此条件验证组发现和兼容性,而不是成功的 VM 关联。

如果类未准备就绪或节点未启动:

  • 检查条件的原因和消息。 对于访问错误,请验证读取权限并留出时间让角色分配生效。 如果类已准备就绪,但 VM 关联失败,请验证群集的用户分配托管标识是否在 CRG 资源组上具有 Contributor。
  • 检查组是否存在并包含至少一个处于预配状态 Succeeded的成员预留。 空组不会导致 NAP 启动未关联的节点。
  • 检查该类是否支持保留的 VM 大小,以及池的 VM 大小和放置要求是否与成员预留匹配。 就绪类不保证池的要求与组的预留匹配。

OS 磁盘大小配置

该 osDiskSizeGB 字段指定 OS 磁盘的大小(以 GB 为单位)。 默认值为 128 GB,最小值为 30 GB。

考虑为以下工作负荷使用更大的 OS 磁盘大小:

  • 在本地存储重要数据。
  • 容器映像需要额外的空间。
  • 具有较高的磁盘 I/O 要求。

OS 磁盘大小配置示例

spec:
  osDiskSizeGB: 256  # 256 GB OS disk

临时 OS 磁盘配置

在所请求磁盘大小适合且可用的情况下,NAP 会自动使用 临时 OS 磁盘。 与托管磁盘相比,临时 OS 磁盘可提供更好的性能和更低的成本。

临时磁盘选择条件

在以下方案中,系统会自动选择临时磁盘:

  • VM 实例类型支持临时 OS 磁盘。
  • 临时磁盘容量大于或等于所请求的osDiskSizeGB。
  • VM 具有足够的临时存储容量。

如果未满足这些条件,系统会回退到使用托管磁盘。

临时磁盘类型和优先级

Azure VM 可以具有不同类型的临时存储。 系统使用以下优先级顺序:

  • NVMe 磁盘 (最高性能)
  • 缓存磁盘 (均衡性能)
  • 资源磁盘 (基本性能)

临时磁盘配置示例

可以使用节点池要求来确保节点有足够的临时磁盘容量,如以下示例所示:

apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
  name: ephemeral-disk-pool
spec:
  template:
    spec:
      requirements:
        - key: karpenter.azure.com/sku-storage-ephemeralos-maxsize
          operator: Gt
          values: ["128"]  # Require ephemeral disk larger than 128 GB
      nodeClassRef:
        group: karpenter.azure.com
        kind: AKSNodeClass
        name: my-node-class
---
apiVersion: karpenter.azure.com/v1beta1
kind: AKSNodeClass
metadata:
  name: my-node-class
spec:
  osDiskSizeGB: 128  # This will use ephemeral disk if available and large enough

此配置可确保仅选择具有大于 128 GB 的临时磁盘的 VM 实例类型,从而保证指定 OS 磁盘大小的临时磁盘使用情况。

最大 Pod 配置

该 maxPods 字段指定可在节点上计划的最大 Pod 数。 此设置会影响群集密度和网络配置。

最小值 maxPods 为 10,最大值为 250。

maxPods 的默认行为

maxPods 的默认行为取决于网络插件配置。 下表汇总了默认值:

网络插件配置 每个节点的默认 maxPods
使用标准网络的 Azure CNI(v1 或 NodeSubnet) 30
采用叠加网络的 Azure CNI 250
无(无网络插件) 250
其他配置 110 (标准 Kubernetes 默认值)

最大 Pod 配置示例

spec:
  maxPods: 50  # Allow up to 50 pods per node

LocalDNS 配置

LocalDNS 部署一个节点级 DNS 代理,该代理将 DNS 查询解析到更接近工作负载、减少查询延迟和提高暂时性 DNS 中断期间的复原能力。 有关详细信息,请参阅 LocalDNS 文档。 默认情况下,LocalDNS 设置为“已禁用”,可配置为以下选项:

  • Disabled (默认值) - 禁用 LocalDNS 功能。 DNS 查询不会在节点上本地解析。
  • Preferred - AKS 根据节点池的 Kubernetes 版本管理 LocalDNS 的启用。 始终对配置进行验证并使其成为系统的一部分,但若未使用正确的 Kubernetes 版本,LocalDNS 将不会被启用。
  • Required - 如果满足所有先决条件,则会在节点池上强制实施 LocalDNS。 如果未满足要求,部署将失败。

LocalDNS 配置示例

可以自定义 LocalDNS 配置,例如 vnetDNSOverrides 和 kubeDNSOverrides。 有关支持的插件的更多详细信息,请参阅 “自定义 LocalDNS”。

spec:
  LocalDNS:
    mode: Required
    vnetDNSOverrides:
      - zone: "."
        cacheDuration: "3600s"
        forwardDestination: VnetDNS
        forwardPolicy: Sequential
        maxConcurrent: 1000
        protocol: PreferUDP
        queryLogging: Error
        serveStale: Immediate
        serveStaleDuration: "3600s"
      - zone: "cluster.local"
        cacheDuration: "3600s"
        forwardDestination: ClusterCoreDNS
        forwardPolicy: Sequential
        maxConcurrent: 1000
        protocol: ForceTCP
        queryLogging: Error
        serveStale: Immediate
        serveStaleDuration: "3600s"
    kubeDNSOverrides:
      - zone: "."
        cacheDuration: "3600s"
        forwardDestination: ClusterCoreDNS
        forwardPolicy: Sequential
        maxConcurrent: 1000
        protocol: PreferUDP
        queryLogging: Error
        serveStale: Immediate
        serveStaleDuration: "3600s"
      - zone: "cluster.local"
        cacheDuration: "3600s"
        forwardDestination: ClusterCoreDNS
        forwardPolicy: Sequential
        maxConcurrent: 1000
        protocol: ForceTCP
        queryLogging: Error
        serveStale: Immediate
        serveStaleDuration: "3600s"

更新现有 AKSNodeClass 上的 LocalDNS 配置

该 localDNS 设置与其他 AKSNodeClass 设置一样参与漂移检测。 当你更改现有节点已引用的某个AKSNodeClass上的spec.localDNS时,NAP 会通过标准 Drift 机制应用更改。 NAP 不会重置现有节点的映像。

更改 LocalDNS 模式或覆盖设置时,以下行为适用,例如将Disabled从mode更改为Required:

  • 新节点:更新 AKSNodeClass 后,NAP 预配的每个节点都使用新的 LocalDNS 配置。
  • 现有节点:NAP 将现有 NodeClaim 对象标记为 已漂移,因为它们的记录配置不再匹配 AKSNodeClass。 NAP 会启动一个使用新 LocalDNS 配置的替换节点,然后封锁、排空并移除偏移节点。
  • 不重置映像:在 AKS 托管节点池上启用 LocalDNS 会重置该池中的每个节点的映像。 NAP 则替换该节点。 无论哪种方式,受影响节点上的 Pod 都会被逐出并重新调度,因此请考虑会产生相同的工作负载影响。

重要

将mode设置为Preferred或Disabled也会更改已解析的AKSNodeClass配置,并导致现有节点发生漂移。 节 localDNS 中的任何更改(包括 vnetDNSOverrides 和 kubeDNSOverrides 值)都会导致节点替换。

替换开始时

应用更新的 AKSNodeClass 后,偏移评估和替换会立即开始。 替换遵循标准 NAP 中断生命周期,因此速率和时机取决于你在引用 AKSNodeClass 的 NodePool 资源上配置的中断控制。

NAP 如何编排替换流程

由 LocalDNS 更改引起的偏移会遵循下表中所述的标准 NAP 中断控制。

控制 对 LocalDNS 诱发的替换的影响
中断预算 (spec.disruption.budgets) 速率限制 NAP 一次替换的节点数。 如果未定义预算,NAP 默认使用一个 nodes: 10% 的预算,因此它最多会同时中断节点池中 10% 的节点。
预算 schedule 和 duration 将更换限制为维护时段。 将 nodes: "0" 设置到窗口之外,以阻止替换。
Pod 中断预算(PDB) 在节点排空期间应用。 NAP 会等待,而不是逐出违反 PDB 的 Pod。
karpenter.sh/do-not-disrupt 注解 将带注解的 Pod 和节点排除在自愿中断(包括 drift)之外。
terminationGracePeriod 端盖排空时间。 当该时段结束时,此设置会绕过 PDB 和 karpenter.sh/do-not-disrupt 批注。

替换既不是完全串行,也不是完全并行。 NAP 会在移除偏移节点之前预配替换容量,但它可以并发替换多个引用同一 AKSNodeClass 的节点,最多可达中断预算设置的限制。

Warning

如果未在节点池上定义中断预算,并且未为工作负载定义 Pod 中断预算,则在繁忙的localDNS上更改AKSNodeClass时,一次最多可中断 10% 的节点,且没有应用程序级保护,这可能会导致工作负载停机。 为关键工作负荷定义 PDB,并在生产群集上更改 localDNS 之前设置保守的中断预算。

启用 LocalDNS 时降低可用性风险

  1. 确认自定义 DNS 服务器能够通过 UDP 和 TCP 的 53 端口响应来自节点子网的查询。 有关详细信息,请参阅 启用 LocalDNS 之前验证自定义 DNS。

  2. 为每个关键工作负荷定义 Pod 中断预算。

  3. 在更改NodePool之前,请对受影响的AKSNodeClass资源设置保守的中断预算,如以下示例所示:

    apiVersion: karpenter.sh/v1
    kind: NodePool
    metadata:
      name: default
    spec:
      disruption:
        budgets:
        - nodes: "1"   # Replace one node at a time
    
  4. 先将 localDNS 更改应用到非生产 AKSNodeClass 。 或者,创建一个启用了 LocalDNS 的 AKSNodeClass,并将工作负载迁移到引用它的 NodePool。

  5. 通过列出节点声明来监控替换进度。 当没有任何节点声明报告 Drifted 状态条件时,替换即完成。

    # List node claims and watch replacements appear as drifted nodes are removed
    kubectl get nodeclaims
    
    # Inspect the status conditions on a specific node claim
    kubectl describe nodeclaim <nodeclaim-name>
    
  6. 确认 LocalDNS 在替换节点上处于活动状态。 有关详细信息,请参阅 验证 LocalDNS 的运行情况。

Kubelet 配置

本 kubelet 部分允许配置影响节点行为的各种 kubelet 参数。 这些参数是典型的 kubelet 参数,因此 Azure 提供商只需将它们传递到节点上的 kubelet。

重要

仔细配置 kubelet 设置,并首先测试非生产环境中的任何更改。

CPU 管理

以下设置控制 kubelet 的 CPU 管理行为:

spec:
  kubelet:
    cpuManagerPolicy: "static"  # or "none"
    cpuCFSQuota: true
    cpuCFSQuotaPeriod: "100ms"
  • cpuManagerPolicy:控制 kubelet 如何分配 CPU 资源。 设置为 "static" 以在延迟敏感型工作负载中实现 CPU 绑定。
  • cpuCFSQuota:为指定 CPU 限制的容器启用 CPU 完全公平计划程序(CFS)配额强制实施。
  • cpuCFSQuotaPeriod:设置 CPU CFS 配额周期。

映像垃圾回收

以下设置控制 kubelet 的图像垃圾回收行为:

spec:
  kubelet:
    imageGCHighThresholdPercent: 85
    imageGCLowThresholdPercent: 80

这些设置控制 kubelet 何时对容器映像进行垃圾回收:

  • imageGCHighThresholdPercent:触发映像垃圾回收的磁盘使用率百分比。
  • imageGCLowThresholdPercent:垃圾回收后的目标磁盘使用率百分比。

拓扑管理

以下设置控制 kubelet 的拓扑管理器策略:

spec:
  kubelet:
    topologyManagerPolicy: "best-effort"  # none, restricted, best-effort, single-numa-node

拓扑管理器可帮助协调跨 CPU 和设备(如 GPU)资源的延迟敏感工作负荷的资源分配。

系统配置

通过以下设置,可为 kubelet 配置额外的系统参数:

spec:
  kubelet:
    allowedUnsafeSysctls:
      - "kernel.msg*"
      - "net.ipv4.route.min_pmtu"
    containerLogMaxSize: "50Mi"
    containerLogMaxFiles: 5
    podPidsLimit: 4096
  • allowedUnsafeSysctls:Pod 可以使用的允许不安全的 sysctls 列表。
  • containerLogMaxSize:轮换前容器日志文件的最大大小。
  • containerLogMaxFiles:要保留的最大容器日志文件数。
  • podPidsLimit:任何 Pod 中允许的最大进程数。

Linux 自定义 OS 配置设置

本 LinuxOSConfig 部分允许配置影响节点行为的各种 kubelet 参数。 这些参数是典型的自定义 OS 参数,因此 NAP 只需将它们传递到节点上的 kubelet。

有关自定义 Linux OS 配置设置、默认值和注意事项的详细信息,请参阅 自定义节点配置参数参考。

重要

仔细配置 Linux OS 设置,并首先测试非生产环境中的任何更改。

Linux 文件句柄限制设置

使用以下设置来配置文件系统设置。

spec:
  linuxOSConfig: 
    # Sysctl Settings  
    sysctls:  
      # File System Settings  
      fsFileMax: 2000000               # Range: 8192-12000500  Default: Max of available range
      fsInotifyMaxUserWatches: 1000000 # Range: 781250-2097152 Default: 1048576
      fsAioMaxNr: 1000000              # Range: 65536-6553500  Default: 65536
      fsNrOpen: 1000000                # Range: 8192-20000500  Default: 1048576

Linux 套接字和网络调优设置

使用以下设置来配置 TCP 和网络设置。

spec:
  linuxOSConfig:
      # Network Settings  
      netCoreSomaxconn: 65535          # Range: 4096-3240000  Default: 16384
      netCoreNetdevMaxBacklog: 5000    # Range: 1000-3240000  Default: 1000
      netCoreRmemMax: 134217728        # Range: 212992-134217728  Default: 1048576
      netCoreOptmemMax: 102400         # Range: 20480-4194304     Default: 131072 
      netCoreWmemMax: 134217728        # Range: 212992-134217728  Default: 212992
      netCoreRmemDefault: 212992       # Range: 212992-134217728  
      netCoreWmemDefault: 212992       # Range: 212992-134217728  
      netIPv4IPLocalPortRange: "1024 65535" # Format: "first last", first: 1024-60999, last: 32768-65535  

      # Neighbor Table GC Thresholds  
      netIPv4NeighDefaultGcThresh1: 1024   # Range: 128-80000  Default: 4096
      netIPv4NeighDefaultGcThresh2: 2048   # Range: 512-80000  Default: 8192
      netIPv4NeighDefaultGcThresh3: 4096   # Range: 1024-80000  Default: 16384
      # Note: thresh1 <= thresh2 <= thresh3  

      # Connection Tracking  
      netNetfilterNfConntrackBuckets: 131072  # Range: 65536-524288   Default: dynamically calculated 
      netNetfilterNfConntrackMax: 262144       # Range: 131072-2097152 Default: dynamically calculated 

Linux 工作器限制设置

使用以下设置来配置内核设置。

spec:
  linuxOSConfig:
      # Kernel Settings  
      kernelThreadsMax: 100000         # Range: 20-513785  Default: Dynamically calculated

Linux 虚拟内存设置

使用以下选项来调整 Linux 内核的虚拟内存子系统的运行方式,以及将脏数据回写到磁盘。

spec:
  linuxOSConfig:
      # Memory Management  
      vmMaxMapCount: 262144          # Range: 65530-262144 Default: Max of available range
      vmVfsCachePressure: 100        # Range: 0-100  Default: 100
      vmSwappiness: 60               # Range: 0-100  Default: 60

      # Swap File Configuration  
      swapFileSize: "2Gi"             # Default: (not set) | Pattern: quantity with units Note: Requires kubelet.failSwapOn: false  

      # Transparent Huge Pages  
      transparentHugePageEnabled: "madvise"    # Values: [always, madvise, never]  Default: always
      transparentHugePageDefrag: "defer+madvise" # Values: [always, defer, defer+madvise, madvise, never]  Default: madvise

GPU 设置

使用以下字段启用自定义 GPU 驱动程序安装,例如 NVIDIA GPU 操作员。

spec:
  gpu:
    mode: 
      # acceptable values: [driver, none] default(or if not specified): driver
      # none skips gpu driver installation, driver has NAP manage the GPU driver installation  
      none

托管 GPU

gpu.mode字段控制 GPU 驱动程序安装。 它接受 Driver 或 None,并且默认为 Driver。 设置 None 以跳过驱动程序安装,例如,在使用 NVIDIA GPU Operator 时。

若要选择启用托管的 NVIDIA GPU 体验,请使用 mode: Driver 并设置 nvidia.managementMode: Managed。 使用 AKS Machine API 预配模式的 Linux NVIDIA GPU 节点支持托管 GPU。 默认的 NVIDIA 管理模式为 Unmanaged。

spec:
  gpu:
    mode: Driver
    nvidia:
      managementMode: Managed

有关完整的 NAP 托管 GPU 示例和验证步骤,请参阅 AKS 管理的 GPU 节点。

安全设置

主机加密

以下字段指定是否为预配的节点启用主机级加密。 将此字段 true设置为时,NAP 仅包含支持主机加密的实例选项。

spec:
  security:
    encryptionatHost: 
      # acceptable values: [true, false] default(or if not specified): false  
      false

有关基于主机的加密的详细信息,请参阅 主机文档中的加密。

自定义托管密钥和磁盘加密集

NAP 支持群集使用客户管理的密钥和磁盘加密集。 在群集级别启用这些选项。 它们没有需要设置的 AKSNodeClass 字段。 确保群集标识具有适当的基于角色的访问控制(RBAC):

  • 群集标识对磁盘加密集具有 Reader 访问权。
  • 磁盘加密集对 Azure 密钥保管库资源具有 密钥保管库 Crypto Service Encryption User访问权。

要了解在创建群集期间启用的客户管理的密钥和磁盘加密集,请参阅客户管理的密钥文档。

在 NAP 群集中启用受信任的启动

启用了节点自动预配(NAP)的群集可以使用 spec.security.trustedLaunch 的 字段启用受信任启动。 将 secureBoot 和 vTPM 字段设置为 true,以便为与此 AKSNodeClass CRD 关联的任何新的或现有的 NAP 托管节点启用受信任启动。

spec:
  security:
  # Enables trusted lunch
  # Valid values: true, false; defaults to false if not specified
     trustedLaunch:
       secureBoot: true
       vTPM: true   

Azure资源标记配置

可以指定Azure资源标记,这些标记适用于使用特定 AKSNodeClass 资源创建的所有 VM 实例。 标记可用于成本跟踪、资源组织和合规性要求。

标记限制

  • 每个 Azure 资源的标记数量限制为 50 个。
  • 标记名称不区分大小写,但标记值区分大小写。
  • Azure保留一些无法使用的标记名称。 有关详细信息,请参阅 标记指南和限制。

示例标记配置

spec:
  tags:
    Environment: "production"
    Team: "platform"
    Application: "web-service"
    CostCenter: "engineering"

综合 AKSNodeClass 配置示例

以下示例演示了一个全面的 AKSNodeClass 配置,其中包括本文中讨论的所有设置:

apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
  name: default
spec:
  template:
    spec:
      nodeClassRef:
        group: karpenter.azure.com
        kind: AKSNodeClass
        name: comprehensive-example
---
apiVersion: karpenter.azure.com/v1beta1
kind: AKSNodeClass
metadata:
  name: comprehensive-example
spec:
  # Image family configuration
  # Default: Ubuntu
  # Valid values: Ubuntu, AzureLinux, AzureContainerLinux
  imageFamily: Ubuntu

  # FIPS compliant mode - allows support for FIPS-compliant node images
  # Default: Disabled
  # Valid values: FIPS, Disabled
  fipsMode: Disabled

  # Artifact Streaming- allows use of artifact streaming feature; To use this feature container images must also enable artifact streaming on ACR
  # Valid values: true, false; defaults to false if not specified
  artifactStreaming:
    enabled: true

  # LocalDNS mode - allows use of LocalDNS feature
  # Default: Disabled
  # Valid values: Preferred, Required, Disabled
  # vnetDNSOverrides and kubeDNSOverrides are both required, even when mode is Disabled
  # Each list must include the "." and "cluster.local" zones, and each zone must set all nine fields
  localDNS:
    mode: Disabled
    # vnetDNSOverrides apply to DNS traffic from pods with dnsPolicy:default and from kubelet
    vnetDNSOverrides:
      - zone: "."
        cacheDuration: "3600s"
        forwardDestination: VnetDNS   # the "." zone can't forward to ClusterCoreDNS in vnetDNSOverrides
        forwardPolicy: Sequential
        maxConcurrent: 1000
        protocol: PreferUDP
        queryLogging: Error
        serveStale: Immediate
        serveStaleDuration: "3600s"
      - zone: "cluster.local"
        cacheDuration: "3600s"
        forwardDestination: ClusterCoreDNS   # cluster.local can't forward to VnetDNS
        forwardPolicy: Sequential
        maxConcurrent: 1000
        protocol: ForceTCP
        queryLogging: Error
        serveStale: Immediate
        serveStaleDuration: "3600s"
    # kubeDNSOverrides apply to DNS traffic from pods with dnsPolicy:ClusterFirst
    kubeDNSOverrides:
      - zone: "."
        cacheDuration: "3600s"
        forwardDestination: ClusterCoreDNS
        forwardPolicy: Sequential
        maxConcurrent: 1000
        protocol: PreferUDP
        queryLogging: Error
        serveStale: Immediate
        serveStaleDuration: "3600s"
      - zone: "cluster.local"
        cacheDuration: "3600s"
        forwardDestination: ClusterCoreDNS
        forwardPolicy: Sequential
        maxConcurrent: 1000
        protocol: ForceTCP
        queryLogging: Error
        serveStale: Immediate
        serveStaleDuration: "3600s"

  # Virtual network subnet configuration (optional)
  # If not specified, uses the default --vnet-subnet-id from Karpenter installation
  vnetSubnetID: "/subscriptions/12345678-1234-1234-1234-123456789012/resourceGroups/my-rg/providers/Microsoft.Network/virtualNetworks/my-vnet/subnets/my-subnet"

  # OS disk size configuration
  # Default: 128 GB
  # Minimum: 30 GB
  osDiskSizeGB: 128

  # Maximum pods per node configuration
  # Default behavior depends on network plugin:
  # - Azure CNI with standard networking: 30 pods
  # - Azure CNI with overlay networking: 250 pods
  # - Other configurations: 110 pods
  # Range: 10-250
  maxPods: 30

  # GPU driver installation (optional)
  # Default: driver - NAP manages gpu driver installation
  # none skips gpu driver installation
  # Valid values: driver, none
  gpu:
    mode: 
      driver

  # Azure resource tags (optional)
  # Applied to all VM instances created with this AKSNodeClass
  tags:
    Environment: "production"
    Team: "platform-team"
    Application: "web-service"
    CostCenter: "engineering"

  # Kubelet configuration (optional)
  # All fields are optional with sensible defaults
  kubelet:
    # CPU management policy
    # Default: "none"
    # Valid values: none, static
    cpuManagerPolicy: "static"

    # CPU CFS quota enforcement
    # Default: true
    cpuCFSQuota: true

    # CPU CFS quota period
    # Default: "100ms"
    cpuCFSQuotaPeriod: "100ms"

    # Image garbage collection thresholds
    # imageGCHighThresholdPercent must be greater than imageGCLowThresholdPercent
    # Range: 0-100
    imageGCHighThresholdPercent: 85
    imageGCLowThresholdPercent: 80

    # Topology manager policy
    # Default: "none"
    # Valid values: none, restricted, best-effort, single-numa-node
    topologyManagerPolicy: "best-effort"

    # Allowed unsafe sysctls (optional)
    # Comma-separated list of unsafe sysctls or patterns
    allowedUnsafeSysctls:
      - "kernel.msg*"
      - "net.ipv4.route.min_pmtu"

    # Container log configuration
    # containerLogMaxSize default: "50Mi"
    containerLogMaxSize: "50Mi"
    
    # containerLogMaxFiles default: 5, minimum: 2
    containerLogMaxFiles: 5

    # Pod process limits
    # Default: -1 (unlimited)
    podPidsLimit: 4096

  security:
  # Enables trusted lunch
  # Valid values: true, false; default(or if not specified): false  
     trustedLaunch:
      secureBoot: true
      vTPM: true
  # Encryption at host
     encryptionatHost: 
      # acceptable values: [true, false] default(or if not specified): false  
      false

后续步骤

有关 AKS 中的节点自动预配的详细信息,请参阅以下文章: