监视Azure Databricks用户界面中的 Lakeflow 管道,以跟踪更新进度、管道事件警报以及查看流式处理源指标。 这些内置功能支持以下任务:
- 观察管道更新的进度和状态。 请参阅 监视页中可用的管道详细信息。
- 对管道事件发出警报,例如管道更新的成功或失败。 请参阅 为管道事件添加电子邮件通知。
- 查看 Apache Kafka 和自动加载程序(公共预览版)等流式处理源的指标。 请参阅查看流式处理指标。
要用SQL一次性跟踪工作区中所有管道的健康状况,请参见 “监控和查询事件”。
添加管道事件的电子邮件通知
可在出现以下情况时配置一个或多个电子邮件地址来接收通知:
- 管道更新成功完成。
- 管道更新失败,出现可重试或不可重试错误。 选择此选项将接收有关所有管道故障的通知。
- 管道更新失败并出现不可重试(致命)错误。 选择此选项将仅在发生不可重试错误时接收通知。
- 单个数据流失败。
若要配置电子邮件通知,请编辑管道的设置。 请参阅 通知。
注释
使用 Python 事件挂钩创建自定义响应,包括通知或自定义处理。
在 UI 中查看管道
从开始,在工作区边栏中的“作业和流水线”选项查找你的管道。 这会打开 “作业与管道 ”页面,您可以查看您可访问的每个作业和管道的信息。 单击管道的名称以打开管道监视页。 若要编辑作业或管道,请单击
菜单,然后选择“ 编辑”。
注释
不同作业和管道类型具有不同的编辑器。 “ 编辑” 选项将打开所选对象的正确编辑器。
使用 Jobs & Pipelines 列表
若要查看您有权访问的管道列表,请单击边栏中的,然后选择作业和管道。 “ 作业与管道 ”标签列出所有可用作业和管道的信息,如创建者、触发器(如有)以及最近五次运行的结果。
单击管道或作业的名称会将你转到该管道或作业的监视页。 若要编辑管道或作业,请单击 然后选择“ 编辑”。
若要更改列表中显示的列,请单击“ 并选择或取消选择列。 例如,若要将
Pipeline Type 添加为列,请选择要添加的列。
你可以在“ 作业与管道 ”列表中筛选作业,如下截图所示。
-
文本搜索:支持对 名称 和 ID 字段进行关键词搜索。 若要搜索使用键和值创建的标记,可以按键、值或键和值进行搜索。 例如,对于具有键
department和值finance的标记,可以搜索department或finance查找匹配的作业。 若要按键和值进行搜索,请输入用冒号分隔的键和值(例如,department:finance)。 - 类型:按 作业、管道或 全部筛选。 如果你选择 管道 ,还可以按 管道类型筛选,包括ETL、导入、MV/ST和数据库表同步管道。
- 所有者:只显示你拥有的作业。
- 收藏:显示你已标记为收藏的作业。
- 标签:使用标签。 若要按标记进行搜索,可以使用标记下拉菜单同时筛选最多五个标记,或者直接使用关键字搜索。
-
运行身份:最多可按两个
run as值进行筛选。
若要启动作业或管道,请单击 播放按钮。 若要停止作业或管道,请单击
按钮。 若要访问其他操作,请单击烤肉串菜单图标
例如,可以编辑或删除作业或管道,或者从该菜单中访问管道的设置。
管道详情可在监控页面获取
注释
统一运行列表预览功能将流水线运行添加到作业运行列表中。 有关启用该预览后所发生的更改以及如何启用该预览的详细信息,请参阅 统一运行列表预览中的更改。
单击 Jobs & Pipelines 页中的管道名称会显示该管道的监控页面。 从这里可以启动管道运行,并查看以前的运行详细信息。
管道图(也称为有向无环图(DAG))会在管道更新成功启动后立即显示。 箭头表示管道中数据集之间的依赖关系。 默认情况下,管道监视页显示表的最新更新,但可以从下拉菜单中选择较旧的更新。
右窗格显示顶部的管道详细信息,包括管道 ID、计算成本、产品版本和通道。 更新详细信息显示在管道详细信息下方。 若要访问管道源代码,请单击页面顶部的 “编辑管道 ”。 若要导航到特定表的代码,请将鼠标悬停在管道图中的表上,然后单击 导航到代码。
若要查看数据集的表格视图,请单击“ 列表 ”选项卡。“ 列表” 视图允许查看管道中的所有数据集,这些数据集表示为表中的行,并且当管道图太大而无法显示在 图形 视图中时非常有用。 可以使用多个筛选器(如数据集名称、类型和状态)来控制表中显示的数据集。 若要切换回管道图,请单击 “图形”。
“运行身份”用户是管道所有者,管道更新使用此用户的权限运行。 若要更改 run as 用户,请单击“权限”并更改管道所有者。
注释
更新运行行为:由计划、管道API或连续管道触发的更新使用自动重试和重启行为。 这包括从监控界面或管道编辑器开始的持续流水线更新。 非连续流水线的更新从监控界面或流水线编辑器开始时,采用快速启动、以调试为中心的行为。 若要覆盖特定非连续管道运行的行为,请使用下拉菜单中的使用不同设置立即运行选项。 有关详细信息,请参阅 更新运行行为。
事件日志:当管道更新出现错误时,错误会显示在底部窗格,并配有 “查看日志” 按钮,可访问该次运行的事件日志。 还可以通过选择来访问事件日志。从右窗格中的运行详细信息查看事件日志。 在 Lakeflow 管道编辑器中运行更新时,导航到编辑器底部的“ 问题 ”窗格,然后单击任何错误旁边的“ 查看日志 ”或“ 在日志中打开 ”按钮。 有关详细信息,请参阅 Lakeflow 管道编辑器和事件日志的管道设置。
Unified Runs List 预览的更改
如果已启用 统一运行列表 预览版,可以在 “作业和管道 ”页中看到管道运行更新。
重要
统一运行列表已进入 公共预览阶段。 默认情况下,工作区会自动加入预览版。
若要禁用 统一运行列表,工作区管理员必须选择退出预览版。 有关选择加入或退出预览的详细信息,请参阅 “管理帐户级预览”。
要访问统一的运行列表,请从工作区侧边栏中选择 运行,或点击
作业与管道,然后选择运行选项卡。
该选项卡显示了过去 60 天内的近期运行列表。 显示过去 48 小时内运行成功和失败的图形首先显示在以下情况下:
- 当前筛选结果仅显示任务或管道。
- 如果您是管理员,或筛选为仅运行
Run as: Me - 运行结果可能最多需要一小时才能显示在图表上。
可以通过以下方式筛选列表和图形:
- 作业或管道的名称。
- 全部、 作业或 流水线。
- 流水线类型 (ETL、摄取、MV/ST 或数据库表同步)。
- 以用户身份运行。
- 运行的开始时间(过去 48 小时内)。
- 运行状态。
- 失败运行的 错误代码 。
除上述内容外,您还可以在列表中查看以下列:
- 结束时间
- 运行编号
- 运行是手动启动还是按计划 启动 。
- 运行 Duration。
- 运行参数。
要更改运行列表中显示的列,请单击,然后选择或取消选择列。
单击管道运行的 开始时间、 结束时间或 名称 会将你转到管道的 监视页 。
当管道处于主动运行状态时,可以通过单击“ 停止运行。停止按钮。 您可以随时单击运行行上的
菜单按钮,然后选择编辑管道以在编辑器中查看管道。
查看数据集详情
单击管道图或数据集列表中的数据集会显示底部窗格中有关数据集的信息。 右侧窗格继续显示管道和更新的详细信息。
- 模式:在底部面板的 “表格” 标签中选择表格,然后选择 列。
- 数据质量指标:当选中表格时,可在底部窗格查看。
-
源代码:要导航到特定表格的代码,请在流水线图中将鼠标悬停在该表格上,点击
导航到代码按钮。
- 查询历史:在底部窗格选择 性能。
-
表格注释:管道详情页面无法提供表格注释。 若要查看表注释,请在目录资源管理器中打开该表。 要直接跳转到该表格,请将鼠标悬停在管道图中的相应位置,点击
,然后点击
在目录中查看。 若要从底部窗格中的表列表访问目录资源管理器,请单击
查看更新历史
若要查看管道更新的历史记录和状态,请单击顶部栏中的“更新历史记录”下拉菜单。
在下拉菜单中选择更新,以查看更新的图、详细信息和事件。 若要返回到最新更新,请单击“显示最新更新”。
注释
管道保留过去 60 天内的更新记录。 早于保留时段的更新不再显示在此处,而是保留在 事件日志中。
调试失败的流水线更新
当更新失败时,请从Lakeflow管道编辑器中的 问题 面板或监控页面底部的面板开始。 更新失败时,系统会在该处显示错误,并提供一个可直接跳转到相关事件日志条目的 查看日志 按钮,因此你几乎无需手动翻查原始日志。
接下来,逐步排查故障:
- 识别失败内容:在 图 视图中,失败的表和流程会直接在DAG上高亮显示。 选择一个以查看错误信息,并检查故障是否仅限于单个表,还是已连锁到其下游依赖项。
-
查询事件日志以获取完整错误:用户界面可以截断消息。 事件日志
error和details列承载全栈跟踪和结构化上下文。 请参阅查询事件日志。 - 只重跑失败的部分:使用 刷新失败表 ,只重试失败表及其下游的表,而不是重新处理已经成功的表。 请参阅为失败的表启动管道更新。
- 在完全更新前验证:如果故障看起来像是代码或配置问题而非数据问题,先进行一次预演。 它会在不将数据实体化的情况下重新检查管道图和源代码,因此你可以在投入计算资源之前,快速判断你的修复是否已解决该错误。 请参阅 检查管道是否存在错误,而无需等待表更新。
- 考虑重试行为:编辑器手动触发的更新会禁用自动重试,这样你会立即看到错误,而由计划或 API 触发的更新则会自动恢复失败。 生产失败警报可能在重试时自行解决,而同一故障在交互式开发中则不会。 请参阅 更新运行行为。
注释
如果失败具体是因为流检查点无效或不兼容(通常在更改状态操作 dropDuplicates() 如聚合或更换源后),仅靠重试无法解决问题。 恢复需要重新处理数据,可以是完全刷新,也可以是有选择地重置检查点,从选定位置重新回放,同时保留现有表数据。 由于重置会回放源数据,因此下游写入必须是幂等的。 请参阅从流式处理检查点失败中恢复管道。
查看流式处理指标
重要
管道的流媒体可观测性处于公开预览。
你可以查看 Spark Structured Streaming 支持的数据源中的流媒体指标,如 Apache Kafka、Amazon Kinesis、Google Pub/Sub、Auto Loader 和 Delta 表,针对你的流管线中的每个流式流。 指标在管道 UI 的右窗格中显示为图表,包括积压工作秒、积压工作字节数、积压工作记录和积压工作文件。 图表显示按分钟聚合的最大值,当将鼠标悬停在图表上时,工具提示会显示相应的最大值。 数据限制为从当前时间开始的最后 48 小时。
在 UI 的
LDP Chart Icon图形视图中查看管道图时,管道中提供流式指标的表会显示 图标。 若要查看流式处理指标,请单击
,在右窗格中的“ 流 ”选项卡中显示流式处理指标图表。 还可以应用筛选器来仅查看具有流式处理指标的表,方法是单击 列表,然后单击 “具有流式处理指标”。
每个流媒体源仅支持特定指标。 流式处理源不支持的指标在 UI 中无法查看。 下表显示了可用于所支持的流媒体源的度量标准:
| 源 | 积压字节 | 积压记录 | 积压工作秒数 | 积压工作文件 |
|---|---|---|---|---|
| Kafka | ✓ | ✓ | ||
| 动动力 | ✓ | ✓ | ||
| Delta | ✓ | ✓ | ||
| 自动加载器 | ✓ | ✓ | ||
| Google Pub/Sub(谷歌发布/订阅消息服务) | ✓ | ✓ |