本文介绍如何在 Visual Studio Code 中使用 SQL 数据库项目对跨仓库依赖项进行建模和部署。 从两个现有的数据仓库项目开始,通过数据库引用以及在必要时使用 部署前脚本和部署后脚本 来配置它们之间的单向依赖关系。
本文基于“在 Visual Studio Code 中开发仓库项目”的概念,并假设您已熟悉构建和发布单个仓库项目。
先决条件
在开始之前,请确保:
- 在同一工作区中创建 两个 Fabric 仓库 。
- 若要创建新的示例仓库,请参阅
在 Microsoft Fabric 。
- 若要创建新的示例仓库,请参阅
- 为Visual Studio Code中的每个仓库创建或提取 database 项目。
- 若要为现有仓库或新仓库创建数据库项目,请参阅 Visual Studio Code 中的
开发仓库项目。
- 若要为现有仓库或新仓库创建数据库项目,请参阅 Visual Studio Code 中的
- 在工作站上安装 Visual Studio Code。
- 安装 .NET SDK 以生成和发布数据库项目。
- 安装两个Visual Studio Code扩展:SQL 数据库项目和SQL Server(mssql)。
- 可以通过搜索“SQL 数据库项目”或“SQL Server(mssql)从Visual Studio Code市场直接安装所需的扩展。
- 仓库项目验证、生成,并且可以在Visual Studio Code中发布。
注释
本文重点介绍 Visual Studio Code 中的 warehouse 项目以及如何在 Git 中将其作为常规代码项目进行版本控制。 针对工作空间和仓库项目的 Fabric Git 集成在开发与部署以及 Git 集成中单独介绍。 文章假设你的 Fabric 工作区是部署目标,T-SQL 模式存在一个或多个 Visual Studio Code 项目中,这些项目由你在 Git 中进行版本控制。
本文不介绍
方案:Zava Analytics 跨域仓库
Zava Analytics 使用两个业务域:
- 销售 - 客户订单、收入和管道指标。
- 市场营销 - 市场活动、渠道和参与度指标。
每个域都有:
同一工作区中的 Fabric 仓库 :
ZavaSalesWarehouseZavaMarketingWarehouse
Visual Studio Code中的 database 项目:
Zava.Sales.WarehouseZava.Marketing.Warehouse
若要生成端到端 ELT 和报告,每个域都需要 只读视图 才能从其他域访问数据:
-
Sales需要客户参与营销。 -
Marketing需要按市场活动查看销售业绩。
您需要:
- 通过数据库引用建立 单向跨仓库依赖项 。
- 避免 循环依赖项。
确保仓库之间的依赖关系是单向的
对于每对仓库,请选择 逻辑依赖项的方向:
示例:
-
Sales取决于Marketing参与数据。 -
Marketing不依赖于Sales部署时所需的任何对象。
在实践中:
Zava.Sales.Warehouse具有对 .. Zava.Marketing.Warehouse。
- 仓库中的
SalesT-SQL 可以使用三部分名称,例如:SELECT * FROM ZavaMarketingWarehouse.Marketing.CampaignEngagement -
Zava.Marketing.Warehouse不引用在部署时可能导致依赖循环的Sales对象。
小窍门
对于每对仓库,绘制一个简单的箭头图(Sales → Marketing)。 如果你发现同一 类型对象的箭头指向两个方向,重构设计以恢复单向依赖关系。
避免循环依赖项
当仓库 A 和仓库 B 以某种方式相互依赖,导致引擎在单个部署中无法解析时,就会发生循环依赖关系。
问题示例(不要这样做):
-
ZavaSalesWarehouse.dbo.CustomerRollup视图:CREATE VIEW dbo.CustomerRollup AS SELECT c.CustomerId, c.TotalRevenue, m.LastCampaignId FROM dbo.CustomerRevenue AS c LEFT OUTER JOIN ZavaMarketingWarehouse.dbo.CustomerEngagement AS m ON c.CustomerId = m.CustomerId; -
ZavaMarketingWarehouse.dbo.CampaignAttribution视图:CREATE VIEW dbo.CampaignAttribution AS SELECT m.CampaignId, SUM(s.TotalRevenue) AS RevenueAttributed FROM dbo.Campaigns AS m LEFT OUTER JOIN ZavaSalesWarehouse.dbo.CustomerRollup AS s ON m.CampaignId = s.LastCampaignId GROUP BY m.CampaignId;
在此反模式中:
-
CustomerRollup在“销售”中取决于CustomerEngagement“市场营销”。 -
CampaignAttribution在 市场营销 中取决于CustomerRollupSales。
此反模式创建了一个循环:销售视图→营销视图→再次销售视图。
指导:
不要将仓库之间的 相互依赖关系 建模为常规架构级对象。 如果确实需要此类逻辑,请将依赖项的 一侧 移到:
- 部署后脚本,或
- 在查询时联接两个仓库的下游 语义模型 或 报表 。
使用部署前后脚本处理部署敏感的跨仓库逻辑
由于仓库部署是全量架构同步操作(而不是针对每个对象的部分部署),因此请仔细处理跨仓库项目:
如果仓库 A 和仓库 B 都需要相互依赖的对象:
- 在每个仓库项目中保留 核心表和核心视图 。
- 将 桥视图或实用工具对象 移动到一个项目中的 预部署脚本或后期部署脚本 中。
- 确保这些脚本是 幂等 并且可以安全地重新运行。
示例模式:
- 预部署脚本:在应用可能会中断它的架构更改之前,暂时删除跨仓库的视图。
- 部署后脚本:在部署两个仓库后重新创建或更新跨仓库视图。
有关详细信息和示例,请参阅Fabric Data Warehouse的预部署和部署后脚本。
模式 1:直接通过数据库引用进行跨仓库引用
在此模式下,你通过数据库引用直接在数据库项目中建模单向依赖关系。
步骤 1:从两个现有仓库项目开始
你应已拥有:
-
Zava.Sales.Warehouse部署到ZavaSalesWarehouse -
Zava.Marketing.Warehouse部署到ZavaMarketingWarehouse
通过在 Visual Studio Code 中“开发仓库项目”中的步骤创建或提取每个项目。
步骤 2:将数据库引用从 Sales 添加到 Marketing
- 在Visual Studio Code中,打开 Database Projects 视图。
- 右键单击
Zava.Sales.Warehouse项目。 - 选择 “添加数据库引用...”。
- 选择以下选项之一:
- 当前工作区中的数据库项目(也可以在 Visual Studio Code 中打开引用的数据库项目),或者
-
数据层应用程序 (.dacpac)(如果你为
Marketing仓库构建了.dacpac,请使用此选项。)
- 设置引用选项:
- 引用类型: 同一服务器,不同的数据库。
-
数据库名称或变量: 例如
[$(MarketingWarehouseName)],使用 SQLCMD 变量。
- 保存并重新生成 Sales 项目。
在 .sqlproj 文件中,应会看到类似于以下内容的条目:
<ItemGroup>
<ArtifactReference Include="..\Zava.Marketing.Warehouse\bin\Debug\Zava.Marketing.Warehouse.dacpac">
<DatabaseVariableLiteralValue>$(MarketingWarehouseName)</DatabaseVariableLiteralValue>
</ArtifactReference>
</ItemGroup>
<ItemGroup>
<SqlCmdVariable Include="MarketingWarehouseName">
<DefaultValue>ZavaMarketingWarehouse</DefaultValue>
</SqlCmdVariable>
</ItemGroup>
小窍门
通过使用SQLCMD变量作为 远程仓库名称,你可以在所有环境(如开发、测试和生产环境)重复使用同一个项目。
步骤 3:在 Sales 中创建跨仓库视图
在 Sales 项目中,添加一个从 Marketing 仓库读取数据的视图。
-- schema/Views/dbo.CustomerEngagementFact.sql
CREATE VIEW [dbo].[CustomerEngagementFact] AS
SELECT
s.CustomerId,
s.TotalRevenue,
m.LatestChannel,
m.LastEngagementDate
FROM dbo.CustomerRevenue AS s
JOIN [$(MarketingWarehouseName)].[dbo].[CustomerEngagement] AS m
ON s.CustomerId = m.CustomerId;
要点:
- 三部分名称
[$(MarketingWarehouseName)].[dbo].[CustomerEngagement]与 用于 Fabric SQL 编辑器中的跨仓库查询的 T-SQL 模式匹配。 - DacFx 通过 数据库引用解析外部数据库。
生成项目以确保 没有SQL71501未解决的引用 错误。
步骤 4:发布营销仓库,然后发布销售。
为了避免部署问题:
-
生成和发布
Zava.Marketing.Warehouse首先:- 右键单击项目→ 生成。
- 右键单击项目→ 发布 →选择
ZavaMarketingWarehouse。
- 部署成功后
Marketing, 生成并发布Zava.Sales.Warehouse:- 右键单击项目→ 生成。
- 右键单击项目→ 发布 →选择
ZavaSalesWarehouse。
生成的部署流为:
Zava.Marketing.Warehouse (无外部依赖项)→ Zava.Sales.Warehouse (取决于 Marketing)
现在,任何在 ZavaSalesWarehouse 中的 T-SQL 查询都可以使用 dbo.CustomerEngagementFact 视图,该视图通过跨仓库的 T-SQL 从 Marketing 仓库内进行读取。
继续学习
- 将此模式与开发和部署中的源代码管理和 CI/CD 指南以及 Fabric Git 集成文档结合使用。
- 扩展 Zava Analytics 方案,包括 开发/测试/生产 环境,使用部署管道或外部 CI/CD 来协调跨多个仓库的发布次序。