开发和部署跨仓库依赖项

本文介绍如何在 Visual Studio Code 中使用 SQL 数据库项目对跨仓库依赖项进行建模和部署。 从两个现有的数据仓库项目开始,通过数据库引用以及在必要时使用 部署前脚本和部署后脚本 来配置它们之间的单向依赖关系。

本文基于“在 Visual Studio Code 中开发仓库项目”的概念,并假设您已熟悉构建和发布单个仓库项目。

先决条件

在开始之前,请确保:

  • 在同一工作区中创建 两个 Fabric 仓库 。
    • 若要创建新的示例仓库,请参阅 在 Microsoft Fabric。
  • 为Visual Studio Code中的每个仓库创建或提取 database 项目。
    • 若要为现有仓库或新仓库创建数据库项目,请参阅 Visual Studio Code 中的 开发仓库项目。
  • 在工作站上安装 Visual Studio Code。
  • 安装 .NET SDK 以生成和发布数据库项目。
  • 安装两个Visual Studio Code扩展:SQL 数据库项目和SQL Server(mssql)。
    • 可以通过搜索“SQL 数据库项目”或“SQL Server(mssql)从Visual Studio Code市场直接安装所需的扩展。
  • 仓库项目验证、生成,并且可以在Visual Studio Code中发布。

注释

本文重点介绍 Visual Studio Code 中的 warehouse 项目以及如何在 Git 中将其作为常规代码项目进行版本控制。 针对工作空间和仓库项目的 Fabric Git 集成在开发与部署以及 Git 集成中单独介绍。 文章假设你的 Fabric 工作区是部署目标,T-SQL 模式存在一个或多个 Visual Studio Code 项目中,这些项目由你在 Git 中进行版本控制。

本文不介绍Lakehouse 的 SQL 分析终结点的跨仓库开发。 Lakehouse 表和 SQL 分析终结点对象不是在源代码管理中跟踪的对象,就像仓库项目一样。 在 Fabric 本机体验和客户端工具中,将 仓库 项目与数据库项目配合使用,实现完整的 git 集成和部署支持。

方案:Zava Analytics 跨域仓库

Zava Analytics 使用两个业务域:

  • 销售 - 客户订单、收入和管道指标。
  • 市场营销 - 市场活动、渠道和参与度指标。

每个域都有:

  • 同一工作区中的 Fabric 仓库 :

    • ZavaSalesWarehouse
    • ZavaMarketingWarehouse
  • Visual Studio Code中的 database 项目:

    • Zava.Sales.Warehouse
    • Zava.Marketing.Warehouse

若要生成端到端 ELT 和报告,每个域都需要 只读视图 才能从其他域访问数据:

  • Sales 需要客户参与营销。
  • Marketing 需要按市场活动查看销售业绩。

您需要:

  • 通过数据库引用建立 单向跨仓库依赖项 。
  • 避免 循环依赖项。

确保仓库之间的依赖关系是单向的

对于每对仓库,请选择 逻辑依赖项的方向:

示例:

  • Sales 取决于 Marketing 参与数据。
  • Marketing不依赖于Sales部署时所需的任何对象。

在实践中:

Zava.Sales.Warehouse具有对 .. Zava.Marketing.Warehouse。

  • 仓库中的 Sales T-SQL 可以使用三部分名称,例如:
    SELECT * FROM ZavaMarketingWarehouse.Marketing.CampaignEngagement
    
  • Zava.Marketing.Warehouse 不引用在部署时可能导致依赖循环的Sales对象。

小窍门

对于每对仓库,绘制一个简单的箭头图(Sales → Marketing)。 如果你发现同一 类型对象的箭头指向两个方向,重构设计以恢复单向依赖关系。

避免循环依赖项

当仓库 A 和仓库 B 以某种方式相互依赖,导致引擎在单个部署中无法解析时,就会发生循环依赖关系。

问题示例(不要这样做):

  • ZavaSalesWarehouse.dbo.CustomerRollup 视图:
    CREATE VIEW dbo.CustomerRollup AS
    SELECT  c.CustomerId,
            c.TotalRevenue,
            m.LastCampaignId
    FROM    dbo.CustomerRevenue AS c
    LEFT OUTER JOIN   
            ZavaMarketingWarehouse.dbo.CustomerEngagement AS m
            ON c.CustomerId = m.CustomerId;
    
  • ZavaMarketingWarehouse.dbo.CampaignAttribution 视图:
    CREATE VIEW dbo.CampaignAttribution AS
    SELECT  m.CampaignId,
            SUM(s.TotalRevenue) AS RevenueAttributed
    FROM    dbo.Campaigns AS m
    LEFT OUTER JOIN    
            ZavaSalesWarehouse.dbo.CustomerRollup AS s
            ON m.CampaignId = s.LastCampaignId
    GROUP BY m.CampaignId;
    

在此反模式中:

  • CustomerRollup在“销售”中取决于CustomerEngagement“市场营销”。
  • CampaignAttribution 在 市场营销 中取决于 CustomerRollupSales。

此反模式创建了一个循环:销售视图→营销视图→再次销售视图。

指导:

不要将仓库之间的 相互依赖关系 建模为常规架构级对象。 如果确实需要此类逻辑,请将依赖项的 一侧 移到:

  • 部署后脚本,或
  • 在查询时联接两个仓库的下游 语义模型 或 报表 。

使用部署前后脚本处理部署敏感的跨仓库逻辑

由于仓库部署是全量架构同步操作(而不是针对每个对象的部分部署),因此请仔细处理跨仓库项目:

如果仓库 A 和仓库 B 都需要相互依赖的对象:

  • 在每个仓库项目中保留 核心表和核心视图 。
  • 将 桥视图或实用工具对象 移动到一个项目中的 预部署脚本或后期部署脚本 中。
  • 确保这些脚本是 幂等 并且可以安全地重新运行。

示例模式:

  • 预部署脚本:在应用可能会中断它的架构更改之前,暂时删除跨仓库的视图。
  • 部署后脚本:在部署两个仓库后重新创建或更新跨仓库视图。

有关详细信息和示例,请参阅Fabric Data Warehouse的预部署和部署后脚本。

模式 1:直接通过数据库引用进行跨仓库引用

在此模式下,你通过数据库引用直接在数据库项目中建模单向依赖关系。

步骤 1:从两个现有仓库项目开始

你应已拥有:

  • Zava.Sales.Warehouse 部署到 ZavaSalesWarehouse
  • Zava.Marketing.Warehouse 部署到 ZavaMarketingWarehouse

通过在 Visual Studio Code 中“开发仓库项目”中的步骤创建或提取每个项目。

步骤 2:将数据库引用从 Sales 添加到 Marketing

  • 在Visual Studio Code中,打开 Database Projects 视图。
  • 右键单击 Zava.Sales.Warehouse 项目。
  • 选择 “添加数据库引用...”。
  • 选择以下选项之一:
    • 当前工作区中的数据库项目(也可以在 Visual Studio Code 中打开引用的数据库项目),或者
    • 数据层应用程序 (.dacpac)(如果你为 Marketing 仓库构建了 .dacpac,请使用此选项。)
  • 设置引用选项:
    • 引用类型: 同一服务器,不同的数据库。
    • 数据库名称或变量: 例如 [$(MarketingWarehouseName)],使用 SQLCMD 变量。
  • 保存并重新生成 Sales 项目。

在 .sqlproj 文件中,应会看到类似于以下内容的条目:

<ItemGroup>
  <ArtifactReference Include="..\Zava.Marketing.Warehouse\bin\Debug\Zava.Marketing.Warehouse.dacpac">
    <DatabaseVariableLiteralValue>$(MarketingWarehouseName)</DatabaseVariableLiteralValue>
  </ArtifactReference>
</ItemGroup>
<ItemGroup>
  <SqlCmdVariable Include="MarketingWarehouseName">
    <DefaultValue>ZavaMarketingWarehouse</DefaultValue>
  </SqlCmdVariable>
</ItemGroup>

小窍门

通过使用SQLCMD变量作为 远程仓库名称,你可以在所有环境(如开发、测试和生产环境)重复使用同一个项目。

步骤 3:在 Sales 中创建跨仓库视图

在 Sales 项目中,添加一个从 Marketing 仓库读取数据的视图。

-- schema/Views/dbo.CustomerEngagementFact.sql
CREATE VIEW [dbo].[CustomerEngagementFact] AS
SELECT
    s.CustomerId,
    s.TotalRevenue,
    m.LatestChannel,
    m.LastEngagementDate
FROM dbo.CustomerRevenue AS s
JOIN [$(MarketingWarehouseName)].[dbo].[CustomerEngagement] AS m
    ON s.CustomerId = m.CustomerId;

要点:

  • 三部分名称 [$(MarketingWarehouseName)].[dbo].[CustomerEngagement] 与 用于 Fabric SQL 编辑器中的跨仓库查询的 T-SQL 模式匹配。
  • DacFx 通过 数据库引用解析外部数据库。

生成项目以确保 没有SQL71501未解决的引用 错误。

步骤 4:发布营销仓库,然后发布销售。

为了避免部署问题:

  • 生成和发布Zava.Marketing.Warehouse 首先:
    • 右键单击项目→ 生成。
    • 右键单击项目→ 发布 →选择 ZavaMarketingWarehouse。
  • 部署成功后 Marketing , 生成并发布Zava.Sales.Warehouse:
    • 右键单击项目→ 生成。
    • 右键单击项目→ 发布 →选择 ZavaSalesWarehouse。

生成的部署流为:

Zava.Marketing.Warehouse (无外部依赖项)→ Zava.Sales.Warehouse (取决于 Marketing)

现在,任何在 ZavaSalesWarehouse 中的 T-SQL 查询都可以使用 dbo.CustomerEngagementFact 视图,该视图通过跨仓库的 T-SQL 从 Marketing 仓库内进行读取。

继续学习

  • 将此模式与开发和部署中的源代码管理和 CI/CD 指南以及 Fabric Git 集成文档结合使用。
  • 扩展 Zava Analytics 方案,包括 开发/测试/生产 环境,使用部署管道或外部 CI/CD 来协调跨多个仓库的发布次序。