在管道中创建和运行用户数据函数活动

通过将用户数据函数活动添加到 Fabric 管道,将自定义 Python 函数作为自动化数据工作流的一部分运行。 通过此集成,可以在函数中集中业务逻辑,并在计划的 ETL 过程中调用它们,而无需跨笔记本和脚本复制代码。

何时在管道中使用函数

当您需要时,将用户数据函数活动添加到流程中:

  • 在数据移动过程中应用业务规则:验证、清理或转换流经管道的数据。 例如,在加载到仓库之前,标准化产品类别或应用定价规则。
  • 计划可重用逻辑:按计划运行相同的业务逻辑,而无需维护单独的基础结构。

先决条件

若要开始,必须满足以下先决条件:

将 Functions 活动添加到管道

架构管道提供了一种可视化方式来协调数据迁移和转换活动。 在本部分中,您将创建一个管道,并向其添加一个函数活动。 在后面的部分中,请专门为用户数据函数配置活动。

若要使用 Functions 活动创建管道,请执行以下步骤:

  1. 在工作区中,选择“+ 新建项”。

  2. 在 “新建项 ”对话框中,搜索 管道 并选择它。

  3. 在 “新建管道 ”对话框中,输入管道的名称,然后选择“ 创建”。

  4. 在管道主页上,选择“ 活动 ”选项卡。

  5. 在“活动”功能区中, 选择“... ”(省略号)图标以查看更多活动。

  6. 在 Orchestrate 下的活动列表中搜索 Functions,然后选择它以将函数活动添加到管道画布。

    显示如何查找函数活动的屏幕截图。

为用户数据函数配置活动

将函数活动添加到画布后,将其配置为调用用户数据函数。

配置常规设置

  1. 选择画布上的函数活动。

  2. 选择“ 常规 ”选项卡。

  3. 输入活动 的名称 。

    显示函数活动常规设置的屏幕截图。

  4. (可选)配置重试设置,并指定是传递安全输入还是输出。

配置函数设置

  1. 选择 “设置” 选项卡。

  2. 选择 Fabric 用户数据函数 作为 类型。

  3. 在 “连接 ”下拉列表中,选择要使用的连接。 如果未看到所需的连接,请选择“ 全部浏览”。

  4. 在 “选择数据源以开始 ”对话框中,搜索 用户数据函数 并选择它。 应会看到它列在 “新建源”下。

  5. 在 “连接到数据源 ”对话框中,可以保留默认连接名称和凭据。 请确保已登录,然后选择 “连接”。

    在连接窗格中选择“用户数据函数”的屏幕截图。

    注释

    如果已建立连接,则可能在对话框中预先选择该连接。 可以保留现有连接,也可以从下拉列表中选择“ 创建新连接 ”以创建新连接。

  6. 返回活动设置,从“连接”下拉列表中选择“UserDataFunctions”。 这是刚刚创建的连接。

    选择 UserDataFunctions 连接的屏幕截图。

  7. 选择包含用户数据函数项的 工作区 。

  8. 选择 用户数据函数 项名称。

  9. 选择要调用的 函数 。

  10. 为所选函数提供输入参数。 可以使用管道表达式中的静态值或动态内容。

    显示函数活动设置的屏幕截图。

    注释

    若要输入动态内容,请选择要填充的字段,然后按 Alt+Shift+D 打开表达式生成器。

传递动态参数

若要将其他管道活动或变量中的值传递给函数,请执行以下操作:

  1. 选择支持动态内容的字段,例如前面所示参数的name”字段。

  2. 按 Alt+Shift+D 打开表达式生成器。

  3. 使用管道表达式引用以前活动的变量、参数或输出。 例如,用 @pipeline().parameters.PipelineName 将管道参数传递给你的函数。

    显示表达式生成器的屏幕截图。

有关管道表达式的详细信息,请参阅 表达式和函数。

在下游活动中使用函数输出

函数的返回值在活动输出中可用。 若要在后续活动中引用输出,请参考以下内容:

  1. 在函数活动之后,将另一个活动添加到管道中。

  2. 选择 Functions 活动并将其 “成功 输出”(活动右侧的绿色复选标记)拖到新活动。 这会创建一个依赖项,以便新活动在函数成功完成后运行。

  3. 选择新活动并查找支持动态内容的字段。

  4. 按 Alt+Shift+D 打开表达式生成器。

  5. 使用表达式 @activity('YourFunctionActivityName').output 引用函数的返回值。 例如,函数活动的名称是 Functions1,可用于 @activity('Functions1').output 引用其输出。

    显示下游活动的表达式生成器的屏幕截图。

输出的确切结构取决于函数返回的内容。 例如,如果函数返回字典,则可以访问特定属性,例如 @activity('YourFunctionActivityName').output.propertyName。

保存并运行管道

在为管道配置 Functions 功能和其他活动之后:

  1. 选择管道编辑器顶部的 “开始 ”选项卡。
  2. 选择 “保存” 以保存管道。
  3. 选择“ 运行 ”以立即运行管道,或选择“ 计划 ”以设置定期计划。

运行后,可以从画布下方的“ 输出 ”选项卡监视管道执行并查看运行历史记录。 有关详细信息,请参阅 “监视管道运行”。