你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。

Azure 存储操作中的可靠性

Azure 存储 Actions是一个完全托管的平台,可自动执行 Azure Blob 存储 和 Azure Data Lake Storage 的数据管理任务。 你安排存储任务针对你的存储帐户运行。 可以配置任务以删除 Blob、设置 Blob 标记,以及根据数据年龄更改访问层。

使用 Azure 时,可靠性是共同的责任。 Microsoft提供了一系列功能来支持复原和恢复。 你负责了解这些功能如何在你使用的所有服务中工作,并选择满足业务目标和运行时间目标所需的功能。

本文介绍如何使 Azure 存储操作能够抵御暂时性故障、配置问题、可用性区域故障、区域范围的故障和服务维护。 它还介绍了备份和还原选项,以及有关 Azure 存储操作服务级别协议(SLA)的关键信息。

Important

考虑Azure 存储操作的可靠性时,请考虑具有存储任务分配的每个存储帐户。 Microsoft管理存储操作服务的可用性。 你负责选择满足工作负荷可靠性要求的存储帐户冗余配置。 即使存储操作控制平面仍然可用,存储帐户中断也会阻止分配的存储任务运行。 有关存储帐户冗余配置的可靠性特征的信息,请参阅Azure Blob 存储中的可靠性。

提高可靠性的生产部署建议

对于生产工作负载,我们建议您:

  • 使用满足可靠性要求的冗余选项配置每个目标存储帐户。 对于大多数生产工作负荷,请至少使用区域冗余存储(ZRS)。 如果需要抵御整个区域故障的能力,并且存储帐户位于配对区域中,请使用异地可用区域冗余存储(GZRS)。 存储任务执行继承目标存储帐户的可靠性特征。

  • 在使用存储任务删除 Blob 之前,请启用 blob 软删除。 在每个目标存储帐户上为 Blob 启用软删除,以便可以在保留期内恢复存储任务意外删除的 Blob。

  • 避免存储任务与其他生命周期管理策略重叠。 不要配置存储任务和另一个生命周期管理策略,以在同一 Blob 上执行冲突操作。 例如,如果Blob 存储生命周期管理策略尝试删除同一 blob,则存储任务删除操作可能会失败。

  • 在应用存储操作配置之前对其进行验证。 在撰写任务条件时使用条件预览 进行重点验证,并使用模拟运行在启用其执行操作之前验证整个分配。

可靠性体系结构概述

本部分介绍从可靠性的角度来看,服务工作原理最相关的一些重要方面。 本部分介绍逻辑体系结构,其中包括部署和使用的某些资源和功能。 它还讨论了物理架构,该架构提供了服务内部运作方式的详细信息。

逻辑体系结构

使用 Azure 存储 Actions 时,可以创建一个或多个存储任务资源。 每个存储任务都包含用于选择要对匹配对象执行的对象和操作的条件。 若要针对存储帐户运行存储任务,请创建 存储任务分配。 该分配作为存储帐户资源的一部分存储,并标识目标对象、任务何时运行、运行频率以及执行报告的存储位置。 当任务运行达到 Completed 状态时,服务会将执行报告写入分配中指定的位置。

你负责配置每个分派,并将适当的 Azure 角色分配给存储任务的托管标识。

物理体系结构

Azure 存储 Actions 具有两个与可靠性相关的平面:

  • 控制平面:请求通过 Azure 资源管理器 流向 Azure 存储 Actions 资源提供程序,该资源提供程序处理存储任务和分配的管理操作及异步预配工作流。

  • 数据平面: 包括计划程序、评估存储任务条件的辅助角色实例、针对目标存储帐户执行配置操作的组件,以及报告组件。 这些组件在Azure 存储基础结构上运行。

暂时性故障的复原能力

暂时性故障是指组件发生短暂的间歇性故障。 这些故障经常出现在云之类的分布式环境中,在运营过程中比较常见。 暂时性故障在短时间内自行纠正。 应用程序通常可以通过重试受影响的请求来处理暂时性故障,这一点很重要。

与任何云托管的 API、数据库和其他组件通信时,所有云托管的应用程序都应遵循 Azure 暂时性故障处理指南。 有关详细信息,请参阅有关处理暂时性故障的建议。

暂时性故障主要以两种方式影响 Azure 存储 Actions:

  • 管理操作:如果自动管理存储操作(例如部署或修改存储任务),则负责在自动化中处理暂时性故障。 使用有界重试,并在两次尝试之间设置适当的延迟。

  • 任务执行:当目标存储帐户限制操作时,Azure 存储操作会延迟一段时间后重试。 只要任务持续取得进展,Storage Actions 就会在工作流的整个生命周期内持续重试。 如果分配在列出或处理 blob 方面四小时内无进展,则存储操作将终止执行,以便可以调度另一个分配。

对于每个目标存储帐户,Azure 存储 Actions 一次只处理一个分配。 它自行调节任务执行,以便目标存储帐户上的应用程序工作负荷具有更高优先级。 执行规模取决于帐户中可用的事务容量。 当事务容量较少时,任务运行可能会受到限制,并且需要更长的时间才能完成。 有关详细信息,请参阅存储帐户可用事务容量的缩放依赖关系。

并非所有任务执行失败都是暂时性的。 例如,由于任务托管标识缺少所需的权限、请求数超过规模限制或目标存储帐户阻止网络访问,因此任务可能会失败。 你负责监视任务状态、指标和仪表板并更正这些错误。 仅针对达到 Completed 状态的运行创建执行报表。 失败和跳过的运行不会生成执行报告。 将实际运行时间与分配计划进行比较,以确定未执行的运行。 有关识别和解决任务错误的信息,请参阅 存储任务故障排除。

对配置问题的复原能力

存储任务条件确定任务所操作的对象,以及不正确的条件或操作可能会影响非预期对象。 Microsoft 会根据其配置运行每个任务。 在允许赋值修改数据之前,你需要负责验证赋值,尤其是在它包含破坏性或不可逆的操作时。

使用以下验证方法:

  • 条件预览:撰写任务条件时,请使用 Azure 门户或 Preview Actions REST API 的预览功能来评估最多 5,000 个 blob 的示例。 预览会返回即时结果,并且不生成执行报告。

  • 模拟运行: 在启用分配以执行操作之前,请创建 模拟运行 进行最终验证。 模拟运行会评估分配范围中的每个 Blob,而无需执行配置的操作。 它以异步方式像常规赋值一样运行,并生成 CSV 执行报告。 查看报告以验证哪些 Blob 与条件匹配,以及任务将执行的操作。

验证可降低意外操作的风险,但不能取代数据保护。 在使用存储任务删除 Blob 之前,请在每个目标存储帐户上 为 Blob 启用软删除 。 软删除允许你在配置的保留期内恢复已删除的 Blob。

审查存储任务分配以及其他对同一 Blob 进行操作的数据管理策略。 不要将重叠任务或策略配置为执行冲突操作。 例如,如果Blob 存储生命周期管理策略尝试删除同一 blob,则存储任务删除操作可能会失败。

应对可用区故障的弹性

可用性区域 是 Azure 区域内物理上独立的数据中心组。 当某个区域发生故障时,服务可以切换到其他可用的区域。

Azure 存储操作控制平面是区域冗余的。 Microsoft 自动管理其跨多个可用性区域的分布,并且你不能选择这些区域。 在可用性区域故障期间,可以继续管理存储任务和分配。

任务执行的复原能力取决于每个目标存储帐户的冗余配置,因为任务对这些帐户中的数据进行操作。 如果在区域故障期间必须继续执行任务,请使用 区域冗余存储选项 (ZRS、GZRS 或 RA-GZRS)配置每个目标帐户。

以下示例演示存储操作控制平面和一个针对三区可用区区域中区域冗余帐户的任务。 如果一个区域不可用,控制平面和目标帐户都可以继续运行:

显示跨三个可用性区域的存储操作控制平面和 ZRS 目标存储帐户的关系图。

此图显示了可用性区域 1、2 和 3。 存储操作控制平面跨越所有三个可用区,并包含存储任务。 目标存储帐户使用 ZRS,还跨越三个可用区。

相比之下,LRS 目标帐户不是区域冗余帐户。 在以下示例中,控制平面跨越所有三个可用区,目标帐户显示在可用区 1 中,以演示不跨可用区的帐户。 如果托管目标帐户的区域变得不可用,则控制平面将保持可用,但在帐户恢复之前,任务无法针对目标帐户执行:

显示跨三个可用区的存储操作控制平面和位于区域 1 的 LRS 目标帐户的关系图。

此图显示了可用性区域 1、2 和 3。 存储操作控制平面跨越所有三个可用区,并包含存储任务。 目标存储帐户使用 LRS,并且仅在可用性区域 1 中显示,以说明 LRS 不提供区域冗余。

Requirements

  • 区域支持: 配置存储任务分配时,存储任务和目标存储帐户必须位于同一区域。 若要使任务执行能够应对可用性区域故障,请选择同时支持 Azure 存储操作和可用性区域的区域。

  • 存储帐户配置: 使用 区域冗余存储选项配置每个目标帐户。 本地冗余存储(LRS)、异地冗余存储(GRS)和读取访问异地冗余存储(RA-GRS)不提供主区域中的可用区冗余。

Considerations

当目标存储帐户不可用时,控制平面区域冗余不会使任务执行具备区域复原能力。 单独评估每个目标帐户的冗余配置。

Cost

存储操作控制平面的区域冗余是自动的,无需额外的存储操作费用即可启用它。 任务执行、目标对象和调用操作的标准使用费仍适用。 有关详细信息,请参阅Azure 存储操作定价。

为每个目标存储帐户选择的冗余选项会影响Azure 存储费用。 有关详细信息,请参阅 Blob 存储定价。

配置可用性区域支持

存储操作控制平面会自动实现区域冗余。 不单独为存储任务或分配配置区域冗余。

若要使任务执行能够在可用性区域发生故障时保持弹性,请在创建每个目标存储帐户时选择区域冗余存储选项,或更改现有帐户的冗余配置。

所有区域正常时的行为

本部分介绍当存储操作控制平面可用、目标存储帐户使用区域冗余存储选项以及所有可用性区域都正常运行时会发生什么情况。

  • 跨可用区操作:Microsoft 跨可用区分发存储操作控制平面基础结构。 任务运行针对每个目标存储帐户运行,Azure 存储 会透明地将请求分布到承载该帐户的基础结构中。

  • 跨区域数据复制: 存储操作不会存储或复制任务处理的 Blob 数据。

    Azure 存储 会在主区域的可用性区域之间同步复制使用区域冗余存储选项的帐户中的数据。 Azure 存储在将数据复制到该帐户所使用的可用区之前,不会完成写入操作。

区域故障期间的行为

本部分介绍存储操作控制平面可用、目标存储帐户使用区域冗余存储选项以及一个可用性区域中发生中断的情况。

  • 检测和响应:Microsoft检测并响应影响存储操作控制平面的故障。

    对于使用区域冗余存储选项的目标帐户,Azure 存储 自动将任务执行和存储操作路由到正常的可用区。 无需启动故障转移。

  • 活动请求: 面向可用区域冗余帐户的存储任务将继续取得进展。 面向不可用帐户的任务可能会失败。

    挂起的单次运行任务仍可能会被选取。 中断或失败的运行可能需要手动重新安排它们,具体取决于处理停止的位置。

  • 预期数据丢失:存储操作不会存储数据的单独副本。 数据丢失预期取决于每个目标帐户的冗余配置。 当帐户使用区域冗余存储选项时,Azure 存储会在主要区域中的各个可用区之间同步复制其数据,因此区域故障预计不会导致已成功完成的写入操作发生数据丢失。

  • 预期的停机时间: 存储操作控制平面在区域故障期间仍可用。

    只要目标存储帐户保持可访问状态,任务执行将继续执行。 如果帐户不可用,例如受影响区域中的 LRS 存储帐户,则受影响的运行可能会失败。

  • 再分发:Microsoft 管理存储操作控制平面的响应和再分发。

    Azure 存储自动将使用区域冗余存储选项的帐户的操作路由到正常区域。 无需客户采取任何操作。

区域恢复

当故障区域恢复时,Microsoft 恢复控制平面的正常分布。 Azure 存储已恢复区域冗余帐户的正常运行。 计划的任务分配会按照各自的计划安排继续。

定期任务按其配置的计划恢复。 挂起的单次运行任务仍可能会被选取。 检查受中断影响的运行记录状态。 根据处理停止的位置,可能需要重新计划中断或失败的运行。

针对局部区域故障进行测试

Microsoft管理存储操作控制平面和区域冗余存储帐户的区域分发、故障转移和恢复。 无需测试平台可用区故障。 通过验证是否可以识别失败的任务操作并再次安全运行这些操作来测试操作流程。

对区域范围的故障的复原能力

区域范围的故障期间存储任务执行的复原能力取决于每个目标存储帐户的冗余配置。 如果目标帐户使用 异地冗余存储选项 (GRS、GZRS、RA-GRS 和 RA-GZRS),则存储帐户可以故障转移到其配对区域,将来的存储任务可以在新的主要区域中继续运行。

异地冗余目标存储帐户

对于异地冗余存储帐户,当前接受写入操作的区域是 主要区域。 Azure 存储异步将数据复制到帐户的配对区域,这是次要区域。

存储任务对其主区域中的帐户执行。 帐户故障转移后,以前的次要区域将成为新的主要区域,将来的存储任务会自动在那里执行。 Azure 存储操作不需要单独的故障转移操作。

Requirements

Cost

异地冗余存储配置会对次要区域中的复制和存储收取费用。 有关详细信息,请参阅 Blob 存储定价。

配置多区域支持

选择异地冗余存储选项,当您创建目标存储帐户时,或更改现有帐户的冗余配置。

如果在目标帐户使用非异地冗余选项时创建存储任务分配,稍后将该帐户转换为 GRS、GZRS、RA-GRS 或 RA-GZRS,请在启动客户管理的帐户故障转移之前更新分配。 可以更改任何分配属性。 更新会导致 Storage Actions 控制平面检测到帐户的新异地冗余配置。

当所有区域都正常时的行为

本部分介绍当目标存储帐户使用异地冗余存储选项且主要和次要区域都正常运行时会发生什么情况。

  • 跨区域操作: 在正常操作期间,存储任务定义、分配和目标存储帐户位于主要区域中。 次要区域不处理存储任务操作。

  • 跨区域数据复制:Azure 存储 Actions 不会独立复制任务处理的 blob 数据。

    Azure 存储异步将数据从主要区域复制到次要区域。 由于复制是异步的,因此次要区域中可能尚不存在最近的更改。

区域故障期间的行为

本部分介绍当使用异地冗余存储选项的目标存储帐户的主要区域不可用时会发生什么情况。

  • 检测和响应:存储帐户故障转移可以是客户管理的,也可以Microsoft管理。 Microsoft 托管的故障转移仅用于特殊情况,并且可能仅在长时间停机后发生,因此不要依赖它来进行灾难恢复。 按照Blob 存储故障转移指南确定客户管理的故障转移是否以及何时启动。

    Azure 存储操作不需要单独的故障转移操作。 但是,如果在目标帐户使用 LRS 时创建了分配,后来将该帐户转换为 GRS 或 GZRS,请在启动客户管理的帐户故障转移之前更新分配。 有关详细信息,请参阅 配置多区域支持。

  • 活动请求: 在存储帐户故障转移期间,主存储帐户终结点和辅助存储帐户终结点暂时不可用。 正在进行中的存储任务运行可能会失败。 故障转移后,检查受影响的任务运行状态,并根据需要重新运行失败或不完整的操作。

    对于定期分配,如果上一次迭代在计划下一次迭代时仍在进行中,则存储操作将跳过新迭代。 下一次迭代在上一次迭代完成后在其指定的触发器时间运行。

  • 预期数据丢失:Azure 存储操作不保留 blob 数据的单独副本。

    在计划外故障转移期间,如果这些更改尚未复制到次要区域,则最近的更改可能会丢失。 在执行过程中失败的任务可能也只完成了对其某些目标对象的操作。 故障转移后,检查受影响的任务运行状态,并根据需要重新运行失败或不完整的操作。 有关存储帐户恢复点和数据丢失的详细信息,请参阅Blob 存储区域故障期间的预期数据丢失。

  • 预期的停机时间: 在故障转移之前,当目标存储帐户不可用时,存储任务无法取得进展。

    在故障转移期间,存储帐户终结点仍然不可用,因此任务运行无法取得进展,并且可能会失败。

    故障转移完成后,存储帐户的新主要区域中的 Storage Actions 数据平面组件将处理后续的任务分配运行。 存储任务资源保留在其原始区域中,因此,任务定义的报告功能可能仍会受到影响,在该区域不可用期间。 针对资源的其他部分的报告仍可正常运行。

    总中断包括检测中断的时间、决定是否启动故障转移以及完成存储帐户故障转移。

    如果未发生故障转移,则在原始主要区域恢复之前,任务执行将保持不可用。

    管理操作在发生区域故障期间仍可用。

  • 重新分配:Azure 存储故障转移完成后更新存储帐户终结点。 将来的任务分配将自动针对位于新主要区域的帐户执行。 无需重新配置存储任务或分配项。

区域恢复

故障回切过程取决于存储帐户故障转移类型。 按照 Blob 存储区域恢复指南,将目标存储帐户故障回切。 Azure 存储 Actions 在存储帐户故障回切后无需额外配置。

针对区域故障进行测试

若要在避免计划外故障转移带来的数据丢失的情况下测试恢复过程,请针对使用异地冗余存储选项的非生产存储帐户创建具有代表性的存储任务分配,然后启动客户管理的计划内故障转移。 查看任何正在进行的运行,并验证将来的计划运行是否针对新主要区域中的帐户执行。 有关故障转移测试指南,请参阅 Azure Blob 存储的区域故障测试。

用于复原的自定义多区域解决方案

仅当目标存储帐户位于配对区域中并使用异地冗余存储选项时,Azure 存储 Actions 的内置区域故障转移支持才可用。

如果多区域存储解决方案在每个区域中使用独立的存储帐户,而不是存储帐户故障转移,则可以在每个目标帐户所在的同一区域中部署存储任务,并为每个帐户创建分配。 你负责在帐户之间复制数据、使任务定义和分配保持同步,以及控制在正常操作和故障转移期间运行的分配。 确保不同区域中的任务分配不会对复制的数据执行冲突操作。

备份和还原

若要在意外删除后恢复 Azure 存储 Actions 配置,请将存储任务和分配定义为基础结构即代码(IaC),并将定义存储在源代码管理中。 包括任务条件和操作、计划、目标存储帐户范围、报表容器设置、托管标识和所需的角色分配。 可以使用Bicep部署存储任务,并且可以在Bicep中定义存储任务分配。

存储中的任务和分配由配置组成,不包含任务所处理的客户数据。 使用前面所述的 IaC 方法恢复此配置。 你负责分别保护和恢复目标存储帐户的数据。 有关Azure 存储数据保护选项的信息,请参阅数据保护概述。

在非生产环境中测试恢复过程。 在启用重新创建的分配之前,请使用条件预览和模拟运行来验证任务是否面向预期的 Blob。 有关详细信息,请参阅 使用存储任务的最佳做法。

服务维护期间的系统弹性能力

Microsoft定期应用服务更新并执行其他维护。 Azure平台会自动处理这些活动,确保维护是无缝且透明的。 除非通过 Azure 服务运行状况计划内维护事先通知,否则维护事件期间预计不会出现停机。

服务级别协议

Azure 存储操作不提供可用性服务级别协议(SLA)。