你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。

用于数据和 AI 集成的Azure NetApp 文件对象 REST API

Azure NetApp 文件
Microsoft Fabric
Azure AI 搜索
Microsoft Foundry
Azure 机器学习

解决方案构想

本文介绍解决方案思路。 云架构师可以使用本指南来帮助可视化此体系结构的典型实现的主要组件。 以本文为起点,设计一个符合工作负荷特定要求的架构合理的解决方案。

此解决方案理念介绍了Azure NetApp 文件对象 REST API 如何帮助组织使用现有的企业文件数据进行分析和 AI,而无需先将其复制到单独的对象存储。 兼容 Amazon S3 的应用程序可以支持文档搜索和 AI 辅助分析,同时现有的 NFS 和 SMB 工作流仍可继续访问这些数据。 避免单独的源数据复制可以减少分析工作负载的载入时间、降低重复存储成本,并免去团队原本需要构建、监控和故障排除的同步管道。 源数据存储库的减少也意味着要管理和保护的副本更少。 这种方法支持增量式现代化,企业无需替换其现有的基于文件的应用程序。

Architecture

此体系结构侧重于通过对象 REST API 实现 Microsoft Fabric 与 Azure NetApp 文件的集成。 该图还显示了 Azure Databricks 作为同一 Azure NetApp 文件 数据的可选分析使用方。 无需同时部署两个平台。 根据卷配置和客户端要求,现有应用程序将继续通过 NFS 或 SMB 访问数据。

Azure Databricks计算通过使用 Hadoop S3A 连接器通过与 S3 兼容的请求访问Azure NetApp 文件对象 REST API 终结点。 此替代分析路径不使用本地部署数据网关或 Microsoft OneLake。

关系图中的下游 AI 服务仅作示意。 未显示其数据摄取集成。

显示 Microsoft Fabric 和 Azure Databricks 通过对象 REST API 终结点读取 Azure NetApp 文件 数据,以及 NFS 和 SMB 应用程序写入的关系图。

下载此体系结构的 Visio 文件。

数据流

以下编号交互描述了体系结构图。 步骤 1 到 5 描述了主要Microsoft Fabric路径。 步骤 6 表示可选的下游数据增强。 步骤 7 是替代分析路径,而不是Fabric流的延续。 标记为 HTTPS 读取 的箭头显示对对象 REST API 端点的请求;请求的数据将返回给使用者。

  1. 应用程序写入文件数据。 在工作负荷子网中,Linux 应用程序 VM 写入 NFS 文件共享,Windows应用程序 VM 写入 SMB 文件共享。 Azure NetApp 文件在委托子网中托管这两个共享。

  2. 对象 REST API 公开文件数据。 委派 ANF 子网中的终结点提供对Azure NetApp 文件卷上配置的目录的 S3 兼容访问。 从终结点到 NFS 和 SMB 共享的连接表示对现有数据的访问,而不是复制到单独的对象存储中。

  3. Fabric通过 OneLake Shortcut 访问数据。 该快捷方式通过一个连接来引用 Azure NetApp 文件数据,该连接使用位于 OPDG(本地数据网关)子网中的 Windows 本地数据网关 VM。 OneLake 快捷方式已连接到此网关。

  4. 网关从对象 REST API 读取。 网关使用 OPDG VNet 和工作负荷 VNet 之间的对等互连来访问终结点。 与 S3 兼容的 HTTPS 读取路径将网关连接到终结点,该终结点访问引用的文件数据供 Fabric 使用。 有关连接要求,请参阅将 OneLake 连接到Azure NetApp 文件卷。

  5. Fabric处理和分析数据。 支持的 Fabric 工作负荷通过该快捷方式使用数据。 例如,笔记本读取引用的文件,并将派生结果写入 lakehouse 表以进行分析和 Power BI 报表。 图中的Fabric框显示这些处理和分析功能。

  6. 可选的下游服务可扩充数据。 Fabric 下方的箭头指向数据扩充组,其中包含 Microsoft Foundry、Azure 机器学习和 Azure AI 搜索。 此步骤表示可选的下游处理。 此图未显示连接这些服务所需的数据引入或编排,且 OneLake 快捷方式不会建立这些集成。

  7. 或者,Azure Databricks直接读取文件数据。 Databricks 子网中的工作器节点使用 Hadoop S3A 连接器通过对等互连的虚拟网络将 HTTPS 读取请求发送到同一对象 REST API 终结点。 此路径替换步骤 3 到 5 中的Fabric访问和处理路径。 它不会经过本地数据网关或 OneLake。

根据预期的数据使用方式选择快捷方式的位置:

  • 现有的兼容 Delta 表。 在 Lakehouse 的 Tables 部分创建表快捷方式,以完整的 Delta 表为目标,包括其事务日志。 Fabric将目标识别为可以通过 Spark 和 SQL 分析终结点查询的表,而源数据仍保留在Azure NetApp 文件上。
  • 用于直接访问或处理的文件。 在 Lakehouse 的文件部分创建快捷方式。 除了文档之外,兼容的工作负载还可以读取独立的 Parquet、CSV 和 JSON 文件,而无需先将源文件复制到 OneLake。 当下游分析需要 lakehouse 表时,将源数据转换或加载到 OneLake 中的派生 Delta 表中。

独立 Parquet 文件并不会自动成为 Delta 表。 文件中的快捷方式不会自动将其目标注册为表。 有关详细信息,请参阅 “在 Lakehouse 中放置快捷方式链接的位置”。

Components

以下组件支持以 Fabric 为中心的体系结构和可选的 Azure Databricks 替代方案。

  • Azure NetApp 文件是基于 NetApp 技术构建的完全托管文件存储服务。 在此体系结构中,它存储企业数据集,并通过对象 REST API 提供与 NFS、SMB 和 S3 兼容的对象访问。 它还提供快照和复制功能。

  • Azure NetApp 文件对象 REST API 通过与 S3 兼容的接口公开现有文件数据。 在此体系结构中,它允许兼容的分析和 AI 应用程序访问数据,而无需先创建单独的对象存储副本。 该接口支持 Amazon S3 操作的子集。 在选择此集成之前,请确认 受支持的操作 满足应用程序的要求。

  • Microsoft Fabric 是一个分析平台,将数据移动、数据处理、引入、转换、通过实时智能实现流式处理和报表生成统一在一起。 在此体系结构中,它提供分析平台,用于通过 OneLake 快捷方式处理和分析来自Azure NetApp 文件的数据。

  • OneLake 是用于Fabric的统一逻辑数据湖。 在此体系结构中,OneLake 快捷方式使引用的 Azure NetApp 文件数据可用于支持的 Fabric 工作负荷。

  • Azure 虚拟网络在此体系结构中的Azure资源之间提供专用连接。 虚拟网络对等互连使网关虚拟机和可选的Azure Databricks计算能够访问Azure NetApp 文件对象 REST API 终结点。

  • 本地数据网关将 OneLake shortcut 连接到 Azure NetApp 文件 存储桶终结点。 尽管网关名称如此,但在此体系结构中,网关在具有受支持的Windows操作系统的Azure虚拟机上以标准模式运行。 选择满足 网关安装要求的映像。 不支持服务器核心安装和Windows容器。 网关通过Azure 中继启动出站连接,以便与Fabric通信。 不需要来自Fabric的入站连接。 配置防火墙或代理以允许调整本地数据网关的通信设置中所述的出站终结点。

  • Azure Databricks是用于数据工程和机器学习工作负载的可选替代分析平台。 其 Spark 作业使用为对象 REST API 终结点配置的 Hadoop S3A 连接器来访问Azure NetApp 文件数据集,而不是使用Fabric集成路径。

Alternatives

此体系结构包括多个组件,可以根据工作负荷的功能和非功能要求,与其他Azure服务或方法替代。 请考虑以下替代方案及其权衡。

存储

在Azure Blob 存储和Azure NetApp 文件之间进行选择时,请考虑应用程序的协议要求和度量性能:

  • 当客户端可以使用 Blob 存储 REST API 或 NFS 3.0 且不需要 SMB 或 NFS 4.1 时,请选择 Blob 存储。 这两个接口都可以访问相同的数据。 Blob 存储 NFS 3.0 访问路径针对高吞吐量、读取密集型顺序工作负荷进行优化,其中吞吐量比低延迟更重要。

  • 当应用程序和分析工作负载需要通过 SMB、NFS 4.1 和兼容 S3 的对象 REST API 访问同一组文件,或者当文件类应用程序需要低延迟随机 I/O 时,请选择Azure NetApp 文件。 对于 Azure NetApp 文件中已存在的数据,对象 REST API 添加了分析访问权限,而无需迁移源应用程序或数据。

对于任一选项,在并发源应用程序和分析负载下测量端到端延迟和吞吐量。 NFS 或 SMB 的性能并不能代表对象 REST API 或 Fabric 的性能,因此应针对工作负荷的要求测试预期的访问路径。 比较总成本,包括应用程序更改、迁移以及任何正在进行的重复和同步。 有关协议和工作负荷比较,请参阅比较 Azure 存储服务。

Integration

Azure Databricks作业可以使用 Hadoop S3A 连接器通过对象 REST API 读取Azure NetApp 文件数据,而无需 OneLake 或本地数据网关。 配置 TLS 信任和安全存储的凭据,并在依赖写回之前验证所需的写入操作。 如果需要初始化脚本,请在受支持的计算资源上使用存储在 Unity Catalog 卷中的群集作用域脚本,并遵循当前的 Azure Databricks init-script 指南。

方案详细信息

当同一数据集需要同时供期望挂载文件系统的应用程序,以及期望 S3 兼容对象接口的分析或 AI 服务使用时,可采用此模式。

在虚拟机或容器中运行的应用程序可以通过 NFS 或 SMB 继续使用Azure NetApp 文件。 例如,他们可以使用现有的文件访问代码、装载的共享和目录结构。 Azure NetApp 文件 Object REST API 将卷的根目录或某个子目录映射到与 S3 兼容的存储桶,以便兼容的对象客户端能够访问同一底层文件。

如果您希望在不更改源应用以使用对象存储的情况下,为现有的基于文件的工作负载增加分析或 AI 能力,这种方法就非常有用。 下游工作流仍可以根据需要创建派生数据,例如转换后的数据集、索引、嵌入和缓存。

当文件客户端和对象客户端访问同一数据时,应考虑身份、权限、锁定和应用一致性要求方面的差异。 明确生成者如何在对象使用者处理之前,表明文件或批处理已完成。 生成者应在发出就绪信号之前完成文件写入并关闭文件,并在消费者处理这些文件期间不要更改这些文件。 测试此转接在写入中断和处理重试情况下的表现。

标识和授权模型在访问方法上也有所不同。 原始的每用户文件权限不会自动继承到 Fabric 中。 为预期使用者配置Fabric权限,并确保对象 REST API 使用的标识仅有权访问所需的源数据。 有关详细信息,请参阅安全性。

当使用者需要不同级别的访问时,将目录映射到单独的存储桶。 数据分类、保留、下游授权和派生数据的治理仍是工作负荷的职责。 有关详细信息,请参阅 “创建存储桶”。

可能的用例

此体系结构可以支持需要分析已存储在Azure NetApp 文件中的结构化或非结构化数据的工作负荷。 以下示例演示了Fabric使用该数据的不同方式。

文档处理

应用程序可以使用 NFS 或 SMB 将文档、图像或其他非结构化文件保存到 Azure NetApp 文件 中。 Fabric笔记本可以使用 OneLake 快捷方式读取已完成的文件,并将其内容发送到文档处理服务(例如Azure文档智能)进行提取。 将生成的结构化数据存储在 Lakehouse 表中,用于验证、分析和报告。

有关集成的指导,请参阅 通过 SynapseML 实现文档智能集成。

数据分析

应用程序可以将结构化数据(如 CSV 或 Parquet 文件)写入 Azure NetApp 文件 共享。 Fabric 笔记本可以通过 OneLake 快捷方式读取已完成的文件,将其与其他 Lakehouse 数据结合,并将派生结果写入 Lakehouse 表。

此模式可以支持工程和质量分析、传感器数据分析和操作报告等方案,而无需源应用程序更改其文件存储方式。

对于现有的兼容 Delta 数据集,请在 Lakehouse 的 Tables 部分创建一个 OneLake 快捷方式,该快捷方式面向完整的 Delta 表,包括其事务日志。 然后,Fabric可以将目标识别为表,并且源数据可以保留在Azure NetApp 文件上。 有关详细信息,请参阅在湖屋中放置快捷方式的位置。

AI 搜索和检索

存储在Azure NetApp 文件上的文档还可以用作 AI 工作负载的源内容。 例如,处理工作流可以通过 OneLake 快捷方式读取文档,并使用它们构建 Azure AI 搜索 索引来实现检索增强生成(RAG)。

搜索索引和任何嵌入都是派生数据,与源文件分开存储。 设计工作流,确保索引内容与源内容的更新、重命名或删除操作保持同步。 此外,在检索索引内容时强制实施适当的访问控制,因为原始 SMB 和 NFS 权限不会自动成为每个用户的搜索权限。

同一模式可以扩展到其他 AI 工作负载。 例如,Fabric 笔记本可以根据源文件准备数据集,并将准备好的数据存储在 OneLake 中,供 Azure 机器学习 使用。 有关集成选项和限制,请参阅将 OneLake 与 Azure 机器学习集成。

Considerations

这些注意事项实现 Azure Well-Architected 框架的支柱,这是一组指导原则,可用于提高工作负荷的质量。 有关详细信息,请参阅 Well-Architected Framework。 有关进一步的指导,请参阅 Azure NetApp 文件 的 Well-Architected Framework 建议。

Reliability

可靠性有助于确保应用程序能够履行对客户的承诺。 有关详细信息,请参阅 可靠性设计评审清单。

Azure NetApp 文件 运行在基于 ONTAP 的容错裸机集群上,并提供高可用性服务级别协议 (SLA)。 为了针对可用区或区域级故障提供额外保护,您还可以选择配置跨可用区或跨区域复制。 此复制是异步的,需要客户发起向目标卷的故障切换。 根据工作负载的恢复目标,选择复制选项和计划安排。 有关详细信息,请参阅Azure NetApp 文件可靠性。

共享一个数据集还使存储可用性成为文件应用程序和分析的常见依赖项。 这些存储功能不会为网关、索引管道或使用方应用程序建立端到端可用性。 将恢复目标与完整的工作负荷(包括网关、下游处理和派生数据)保持一致。

单个网关虚拟机是 Fabric 集成路径中的单一故障点。 对于业务关键型工作负荷,请在单独的虚拟机上至少部署两个属于 网关群集 的网关成员。 确保每个成员都可以访问对象 REST API 终结点并建立所需的出站连接。 当网关成员不可用时测试工作负荷的行为。

  • 支持通过节省空间的时间点快照进行文件和卷恢复。 团队可以在意外删除、数据损坏或分析过程失败后,从恢复点恢复单个文件、回滚整个卷,或创建新卷。 有关可用的恢复操作,请参阅Azure NetApp 文件基于快照的数据保护。

安全性

安全性保障您重要的数据和系统免受故意攻击和滥用。 有关详细信息,请参阅 安全设计评审清单。

保留更少的源数据副本可以减少需要保护的存储库数量。 Azure NetApp 文件加密静态数据,对象 REST API 使用 TLS 来保护传输中的数据。 文件访问权限取决于协议:

  • SMB 和 NFS 客户端继续使用现有的身份验证和授权模型。 现有的 NTFS 访问控制列表(ACL)、NFS 权限和标识映射规则对这些客户端仍然有效。

  • 对象 REST API 客户端使用 S3 访问密钥进行身份验证。 存储桶权限决定客户端在映射目录内具有只读还是读写访问权限。 对象请求中不包含具体的 SMB、NFS 或下游用户的身份信息。 Azure NetApp 文件 以存储桶配置的模拟文件系统标识身份执行每项对象操作。 现有文件权限和 ACL 仅针对该身份进行评估。

    模拟的文件系统标识是 NFS 卷的用户 ID(UID)和组 ID(GID),或者是 SMB 卷的用户帐户。 双协议卷使用与其配置的安全样式匹配的标识类型。 此身份决定对文件的访问权限。 S3 访问密钥用于验证对象客户端的身份。 有关更多信息,请参阅 对象 REST API 安全性和权限。

  • 与 S3 兼容的 OneLake 快捷方式使用访问密钥 ID 和机密访问密钥对存储桶进行身份验证。 源端的 NTFS ACL、NFS 权限以及各个文件所有者的身份标识都不会被复制或映射到 OneLake 中。 Fabric 用户通过 OneLake 和 Fabric 权限获得授权。 他们只能通过存储桶及其模拟身份访问快捷方式公开的内容,但 OneLake 不会强制执行原始的按用户划分的文件权限。 此快捷方式类型不支持基于 Microsoft Entra 的 OAuth、服务主体以及 RoleArn。

    例如,Fabric用户可以使用快捷方式读取文档,即使其个人 SMB 帐户无法直接读取文档,如果Fabric权限允许访问,并且存储桶的模拟标识可以读取文档。 在公开目录之前,请验证目标Fabric访问群体是否有权访问其内容。

仅为存储桶的模拟身份配置工作负荷所需的源权限。 限制对快捷方式和 Lakehouse 的访问权限。 使用基于Azure 密钥保管库的证书工作流和凭据存储来管理 TLS 证书和 S3 访问密钥。 定义并测试一套轮换流程,使证书和凭据的变更与 Fabric 连接及其他使用者的更新相协调。 生成新的存储桶凭据会立即使现有这对凭据失效,因此在更新使用方时应提前做好服务中断的准备,并在轮换后验证访问权限。

如果使用自签名 TLS 证书,请确保每个网关主机都信任它。 有关详细信息,请参阅 OneLake 网关先决条件。

安全性和符合性取决于存储、访问和下游服务的配置。 在治理和合规性范围内包括下游处理和派生数据。 GDPR 和 HIPAA 等要求适用于完整的工作负荷(如果适用)。 有关更多信息,请参阅 对象 REST API 安全性和权限 和 在 OneLake 中创建 Amazon S3 兼容快捷方式。

成本优化

成本优化侧重于减少不必要的开支和提高运营效率的方法。 有关详细信息,请参阅 成本优化的设计评审清单。

不必单独保留源数据副本,可以减少重复存储和数据同步成本。 将这些节省与 Azure NetApp 文件 的容量和性能成本、网关计算成本、Fabric 容量以及下游处理和存储成本进行权衡。

此示例定价估算包括 1 TiB Azure NetApp 文件 标准容量池、本地数据网关的Windows D8s_v5虚拟机、两个 128-GiB P10 托管磁盘、具有公共 IP 地址和出站数据处理的 NAT 网关、Fabric F2 容量和 100 GB 本机 OneLake 存储。

单网关配置不具备高可用性。 不包括可选的 AI 搜索、嵌入服务和Azure Databricks成本。 根据工作负载的容量、网络和可用性要求调整资源。

  • 冷访问:将非活动数据块(包括快照数据)分层到低成本存储,同时保留文件和对象访问权限。 根据工作负荷的访问模式评估检索费用、延迟和不同服务级别对应的吞吐量变化。

  • 服务级别和大小调整:选择与数据集容量和吞吐量要求匹配的Azure NetApp 文件服务级别。 灵活服务级别允许单独预配池容量和吞吐量。 在需求更改时查看可计费池容量和吞吐量,以避免持续过度预配。

卓越运营

卓越运营涵盖部署应用程序并使其在生产环境中运行的运营流程。 有关详细信息,请参阅 卓越运营的设计评审清单。

OneLake 快捷方式通过避免使用维护单独源数据副本以供分析的管道来降低操作复杂性。 如果没有单独的复制管道,团队在日常运维中无需安排复制作业、处理传输失败后的恢复工作,也无需核对源数据与副本数据的一致性。

源应用团队和分析团队必须就共享的 Azure NetApp 文件 数据集的变更和事件响应进行协调。 明确监控、故障处理和 对象 REST API 凭据及证书管理 的责任归属。

监视存储、网关和Fabric性能,以确定约束并调整容量或吞吐量:

  • 使用Azure Monitor跟踪卷读取和写入吞吐量、读取和写入 IOPS、其他 IOPS、平均读取和写入延迟、容量消耗以及达到吞吐量限制的指示器。 持续延迟增加、重复 QoS 限制和容量阈值(而不是隔离峰值)的警报;Azure NetApp 文件指标按间隔聚合,存储延迟不包括每个客户端 REST 组件。

  • 将存储指标与客户端度量相关联,例如请求延迟百分位、对象大小、并发、重试、HTTP 状态代码、CPU、内存和网络吞吐量。 这样做有助于将存储卷的吞吐量限制与计算客户端规格过小、低效的 SDK 设置、小对象开销或网络距离过远等因素区分开来。

  • 监视每个网关虚拟机的 CPU、内存、可用磁盘空间和网络吞吐量以及网关错误和工作负荷完成时间。 使用代表性工作负荷测试期间建立的阈值,为持续的资源压力和磁盘空间不足配置警报。 排查错误或访问速度缓慢时,请使用 网关诊断日志 。 单独监视虚拟机和网络,因为网关诊断不提供完整的基础结构覆盖范围。

  • 使用Fabric容量指标应用监视Fabric容量利用率和节流。 为负责的管理员配置容量利用率通知。 将容量使用情况与网关和存储指标结合起来进行分析,以确定延迟究竟是源访问引起的,还是由 Fabric 处理引起的,然后再决定是否更改容量。

性能效率

性能效率是指工作负荷能够高效地缩放以满足用户需求。 有关详细信息,请参阅性能效率设计评审核对清单。

Azure NetApp 文件可以支持延迟敏感的 NFS 或 SMB 应用程序,以及使用相同数据集的 S3 兼容分析或 AI 使用者。 将源数据保留在一个卷上可以省去复制阶段,否则会延迟建立索引、训练或批处理,并占用客户端、网络和目标存储带宽。

在受支持的 Azure NetApp 文件 服务级别上,亚毫秒级存储延迟与 NFS 和 SMB 工作负载最为直接相关。 它不能保证 HTTPS 对象 REST API 请求的端到端延迟。 在设定延迟目标之前,请使用具有代表性的对象和并发量对 S3 兼容访问路径进行基准测试。

  • 存储容量规划:根据文件应用程序和对象使用者的总需求来调整吞吐量大小。 自动 QoS 将卷吞吐量与卷配额关联。 手动 QoS 允许在池的吞吐量预算中单独分配. 在调整性能之前对代表性工作负荷进行基准测试。

  • 网关大小调整:调整网关虚拟机的大小,以满足通过 OneLake 快捷方式访问Azure NetApp 文件的工作负荷的组合需求。 使用 网关大小调整和缩放指南 作为起点。 通过快捷方式,使用具有代表性的数据量和并发访问来验证容量规划是否合理。 测量网关 CPU、内存和网络吞吐量以及工作负荷完成时间,以确定是增加虚拟机资源还是添加网关成员。

  • Fabric 容量大小调整:为合并的处理和报告工作负荷(包括 Power BI)确定 Fabric 容量大小。 按照Fabric容量规划指南中的指导,估算初始容量、使用代表性试点进行测试,并根据测量的利用率和限制调整容量。

  • 将计算资源部署在靠近存储卷的位置,合理配置客户端网络,并使用真实工作负载进行测试。 增加并行度并使用足够大的请求进行顺序分析,但在延迟或错误增加时限制并发度。 对于 NFS 或 SMB,请验证装载、协议和应用程序设置。 对于 REST,请验证对客户端所需的 API 操作的支持,并测试连接重用、上传行为、重试和列出对象。

在并发负载下验证端到端吞吐量和延迟,并平衡分析需求与源应用程序性能要求。

Contributors

Microsoft维护本文。 以下贡献者撰写了本文。

主要作者:

其他参与者:

若要查看非公开的领英个人资料,请登录领英。

后续步骤