系统表中的湖基遥测

Important

此功能在 Beta 版中。 要使用它,工作区管理员必须在预览页面开启系统表中的 Lakebase 可观察性。 请参阅 Manage Azure Databricks 预览版。

启用 Lakebase 系统表中的可观测 性预览后,Lakebase 会将可观测遥测数据捕获到 system.lakebase 模式中,从高级 Postgres 信号开始。 捕获会自动开始,同时项目的计算运行。 你不需要创建配置、选择目的地或提供凭证。 Insights 和 Genie 读取的是相同的表格,你可以用任何 Azure Databricks 工具查询它们。

注释

在正式发布之前,表和列名可能会更改。

Requirements

  • 你的工作区必须启用 Lakebase 系统表中的可观测 预览功能。 工作区管理员可以从 预览页面启用。 启用 Lakebase Insights 预览也会启用,如果还没有启用的话。
  • 您的工作区还必须启用 Lakeflow Connect Zerobus Ingest 和 Zerobus Ingest 默认存储 预览。 Lakebase 通过 Zerobus Ingest 写入遥测数据,因此只要两者关闭,系统 表中的 Lakebase 可观测 性和 Lakebase Insights 预览都会保持关闭状态。 工作区管理员可以在 预览页面启用它们。
  • 你需要在 AWS 或 Azure 上做 Lakebase 项目。 请参阅 获取 Postgres 数据库。

捕获的内容

Lakebase 记录你需要的信号,用于解释一个缓慢或失效的数据库,分布在以下表格中:

捕获的内容 表名称
活跃会话和等待事件 system.lakebase.active_session_history、system.lakebase.wait_event_counters
查询计划和每个查询的执行统计信息 system.lakebase.plan_history、system.lakebase.pg_stat_statements_counters
架构更改:更改了什么、何时更改以及由谁更改 system.lakebase.ddl_history
数据库统计信息:大小、读取和修改行以及会话计数 system.lakebase.database_counters、system.lakebase.database_gauges
计算资源使用情况:CPU、内存、缓存、连接 system.lakebase.compute_counters、system.lakebase.compute_gauges
原始 Postgres 日志消息,包括失败背后的错误 system.lakebase.postgres_logs

记录保存期限为7天。 本页其余部分记录了每张表格的每一列。 关于这些表在系统表中的位置,请参见 Lakebase 系统表参考。

Access

这些 system.lakebase 表由Unity Catalog管理。 同时拥有账户管理员和元存储管理员角色的用户可以读取遥测数据并管理访问权限。 请参阅在 Unity Catalog 中管理权限。

访问权限在模式层面生效,因此能读取 system.lakebase 的用户能看到账户内每个项目的遥测数据。

伪装声明文本

除非你是账户管理员或账户级别组成员databricks_pii_access,否则存放账单文本的列会返回<REDACTED>。 账户管理员负责创建和管理该组。 参见 创建和管理 databricks_pii_access 群 组和 访问掩蔽语句文本。

每个表通用的列

下表包括以下列,这些列标识行来自何处:

列 类型 Description
project_id STRING 该行来自的 Lakebase 项目。
branch_id STRING 该行来自的分支。
endpoint_id STRING 行来自的计算终结点。
compute_id STRING 特定的计算实例。 当计算缩放到零并恢复时,此更改。
ts TIMESTAMP 记录行时。
compute_mode STRING 计算时的模式,例如读写或只读。

以名称结尾 _counters 的表还包括一列 previous_ts ,用于标记行值累积的间隔的开始。 这些是该间隔的累积值,而不是时间点读数。 以时间点读取结尾 _gauges 的表,没有 previous_ts。

下表仅列出这些常见列以外的列。

会话活动

每个活动后端的快照,持续采样。 这与 AWS Performance Insights 或 Oracle 的活动会话历史记录(ASH)相同:如果会话正在执行任何操作(包括等待),则会在此处显示。

active_session_history

列 类型 Description
sample_seq LONG 此示例在其批处理中的序号位置。
pid LONG 后端的进程 ID。
datid LONG 数据库的对象 ID。
userid LONG 连接角色的对象 ID。
queryid LONG 标识正在运行的查询。 queryid匹配项。pg_stat_statements_counters
wait_event_info LONG 等待事件的内部编码。
wait_event_type STRING 等待事件的类别,例如 Timeout 或 Lock。
wait_event STRING 例如, PgSleep特定的等待事件。
backend_state LONG 后端的状态,例如活动或空闲。
backend_type LONG 后端进程的类型。
xact_age_ms LONG 当前事务已打开多长时间。
query_age_ms LONG 当前查询的运行时间。
blocking_pid LONG 会话的 PID 阻止此会话(如果有)。
leader_pid LONG 如果此后端是并行辅助角色,则并行查询领导者的 PID。
flags LONG 内部状态标志。
plan_fingerprint LONG 指向特定 plan_history计划形状的链接。
appname_hash LONG 连接应用程序名称的哈希。

等待事件

聚合的等待事件计数和时间,是对每个样本视图的 active_session_history补充。

wait_event_counters

列 类型 Description
wait_event_id LONG 等待事件的内部编码。
wait_class_name STRING 等待事件的类别。
wait_event_name STRING 特定的等待事件。
wait_event_count LONG 此等待事件在间隔内发生的次数。
wait_event_time DOUBLE 在此等待事件期间花费的总时间。

查询计划

查询计划的按执行记录,包括完整计划和 Neon 特定的存储统计信息。这是最详细的表,通常是慢查询调查最终出现的位置。

plan_history

列 类型 Description
row_position LONG 此行在其批处理中的序号位置。
analyze_enabled BOOLEAN 计划是否包括实际执行统计信息(EXPLAIN ANALYZE而不仅仅是估计)。
buffers_enabled BOOLEAN 计划是否包括缓冲区使用情况统计信息。
query_hash STRING 标识查询文本的哈希。
queryid LONG 标识查询。 匹配 queryid 项 pg_stat_statements_counters 和 active_session_history。
duration_ms DOUBLE 运行查询所花费的时间。
total_cost DOUBLE 规划器的查询估计成本。
plan_rows LONG 规划器估计的行计数。
actual_rows LONG 返回的实际行计数。
plan_fingerprint LONG 标识此特定计划形状。 plan_fingerprint匹配项。active_session_history
lock_wait_time_ms DOUBLE 等待锁所用的时间。
planning_time_ms DOUBLE 规划查询所用的时间,与执行不同。
shared_blks_hit / shared_blks_read / shared_blks_dirtied / shared_blks_written LONG 此执行的共享缓冲区缓存活动。
local_blks_hit / local_blks_read / local_blks_dirtied / local_blks_written LONG 临时表的本地缓冲区活动。
temp_blks_read / temp_blks_written LONG 临时文件活动,例如从大型排序或哈希。
neon_getpage_count LONG 发送到页面服务器的页面请求数。
neon_file_cache_hits LONG 从本地文件缓存而不是页服务器提供的页面数。
neon_getpage_wait_us LONG 在页面服务器页面请求上等待的时间(以微秒为单位)。
backend_pid LONG 运行此查询的后端进程 ID。
lock_wait_count LONG 此执行在锁上等待的次数。
userid / dbid LONG 连接角色和数据库的对象 ID。
query_text STRING 查询文本。 戴着面具。 详见 蒙面声明文本。
plan_json STRING 完整的查询计划,作为 JSON。 戴着面具。 详见 蒙面声明文本。
usename / datname STRING 连接角色和数据库的名称。
application_name / client_addr STRING 连接应用程序的名称和客户端地址。
wait_events STRING 在此执行期间观察到的等待事件。
parameters STRING 绑定查询中使用的参数(如果有)。 戴着面具。 详见 蒙面声明文本。
blocking_pids STRING 阻止此执行的会话的 PID(如果有)。
neon_branch_id / neon_endpoint_id / neon_timeline_id STRING 分支、终结点和时间线的内部 Neon 标识符。
cpu_user_time_ms / cpu_sys_time_ms DOUBLE 此执行所用的 CPU 时间,拆分为用户和系统时间。
voluntary_csw / involuntary_csw LONG 在此执行过程中,上下文切换。
trace_id / span_id / trace_flags / service_name 弦 / 弦 / 长弦 / 弦 如果查询是跟踪请求的一部分,则 OpenTelemetry 样式跟踪标识符。
timeline_id LONG 内部时间线标识符。
truncated BOOLEAN 此行的数据(例如,大型计划)在写入之前是否被截断。

查询统计信息

基于标准 pg_stat_statements 扩展的按查询聚合统计信息。

pg_stat_statements_counters

列 类型 Description
userid / dbid LONG 连接角色和数据库的对象 ID。
queryid LONG 标识查询。 匹配 queryid 项 plan_history 和 active_session_history。
toplevel BOOLEAN 此行是否用于顶级语句,而不是嵌套在 PL/pgSQL 函数或过程中的语句。 请参阅 PL/pgSQL 限制。
query STRING 查询文本。 戴着面具。 详见 蒙面声明文本。
calls LONG 此查询在间隔内执行的次数。
plans LONG 此查询按间隔计划的时间。
rows LONG 返回或受影响的总行数。
total_exec_time / total_plan_time DOUBLE 执行和规划此查询所用的总时间(以间隔为单位)。
shared_blks_hit / shared_blks_read / shared_blks_dirtied / shared_blks_written LONG 共享缓冲区缓存活动。
local_blks_hit / local_blks_read / local_blks_dirtied / local_blks_written LONG 临时表的本地缓冲区活动。
temp_blks_read / temp_blks_written LONG 临时文件活动。
wal_bytes / wal_fpi / wal_records LONG 此查询生成的预写日志卷。
jit_emission_count / jit_emission_time / jit_functions / jit_generation_time / jit_inlining_count / jit_inlining_time / jit_optimization_count / jit_optimization_time Mixed JIT(实时)编译统计信息(如果 JIT 用于此查询)。

架构更改

架构更改:更改、何时和由谁更改。 这是 Genie 从部署还是手动编辑中读取的事件,以跟踪事件回架构更改。

ddl_history

列 类型 Description
row_position LONG 此行在其批处理中的序号位置。
command_tag STRING 例如,DDL 命令 ALTER TABLE的类型。
object_type / object_name STRING 更改的对象的类型和名称。
schema_name STRING 对象所属的 Postgres 架构。
query_text STRING 完整的 DDL 语句。 戴着面具。 详见 蒙面声明文本。
duration_ms DOUBLE DDL 语句运行的时间。
userid / usename 长线 / 弦 连接角色的对象 ID 和名称。
application_name STRING 连接应用程序的名称。
backend_pid LONG 运行语句的后端进程 ID。
dbid LONG 数据库的对象 ID。
search_path STRING 会话当时的搜索路径。
ddl_json STRING DDL 语句的结构化分析表示形式。 戴着面具。 详见 蒙面声明文本。

注释

DDL 捕获存在实际差距:可以错过从小到零开始计算恢复的更改。 如果架构更改未在此处显示,即使你知道它发生了,这是最有可能的原因。 请参阅限制。

Postgres 日志

原始 Postgres 日志消息,包括失败背后的特定错误。

postgres_logs

列 类型 Description
sample_seq LONG 此行在其批处理中的序号位置。
elevel LONG 内部日志级别编码。
severity STRING 例如,日志严重性 ERROR 或 LOG。
sqlstate STRING Postgres SQLSTATE 错误代码,例如 42703 未定义的列。
backend_pid / leader_backend_pid LONG 后端进程 ID 及其并行查询领导者的 PID(如果适用)。
userid / usename 长线 / 弦 连接角色的对象 ID 和名称。
datid / datname 长线 / 弦 数据库的对象 ID 和名称。
application_name / client_addr STRING 连接应用程序的名称和客户端地址。
schema_name / table_name / column_name / constraint_name / datatype_name STRING Postgres 有一个架构、表、列、约束或由错误引用的数据类型。
funcname STRING 发生错误的函数(如果适用)。
filename / lineno 弦 / 长 Postgres 源文件并行错误来源。
message STRING 日志消息文本。
detail / hint / context STRING Postgres 包含这些详细信息时,建议进行修复,以及错误的上下文。
internalquery STRING 与错误相关的内部生成的查询(如果适用)。
statement STRING 触发此日志条目的语句。 戴着面具。 详见 蒙面声明文本。
truncated_mask LONG 指示在写入之前截断了哪些字段(如果有)。

注释

对于每个错误类型,不会填充结构化schema_nametable_name字段和column_name字段。 例如,纯“列不存在”分析错误(SQLSTATE 42703例如,即使 message 直接将列命名为空)。 不要依赖填充的这些字段。 首先检查 message 。

计算指标

计算级资源使用情况:CPU、内存、磁盘和网络 I/O 以及本地文件缓存(LFC),Lakebase 的计算端缓存位于页面服务器前面。

compute_counters

列 类型 Description
backpressure_throttling_seconds DOUBLE 存储层在此间隔内花费限制写入的时间。 非零值表示写入量超出了存储可以吸收的内容。
host_busiest_cpu_seconds / host_cpu_seconds DOUBLE CPU 耗时,对于最繁忙的核心和总共。
host_disk_read_bytes / host_disk_written_bytes DOUBLE 磁盘 I/O 卷。
host_network_receive_bytes / host_network_transmit_bytes DOUBLE 网络 I/O 卷。
lfc_evictions / lfc_hits / lfc_misses / lfc_writes LONG 此间隔的本地文件缓存活动。
replica_lfc_redo_evictions LONG 如果此计算是只读副本,则副本重做导致的本地文件缓存逐出。

compute_gauges

列 类型 Description
current_lsn LONG 当前预写日志位置。
replica_wal_replay_lsn / replica_wal_receive_lsn LONG WAL 重播和接收位置(如果此计算是只读副本)。
max_connections LONG 配置的连接限制。
lfc_working_set_size_5m / lfc_working_set_size_15m / lfc_working_set_size_60m LONG 过去 5、15 和 60 分钟的估计工作集大小。
lfc_size_limit / lfc_allocated / lfc_used LONG 本地文件缓存容量和当前使用情况。
total_size_limit / total_size LONG 总体存储容量和当前使用情况。
replication_lag_bytes / replication_lag_time_ms 长 / 双 复制延迟(如果此计算是只读副本)。
host_logical_cpus / host_memory_total_bytes DOUBLE 计算预配的 CPU 和内存。

数据库指标

每个数据库活动:行已更改、事务、会话和清空运行状况。 这是表膨胀和 autovacuum 信号的实时位置。

database_counters

列 类型 Description
datid / datname 长线 / 弦 数据库的对象 ID 和名称。
active_time_ms / idle_in_transaction_time_ms / session_time_ms DOUBLE 活动时间、在打开的事务中空闲和整体连接的时间。
deadlocks LONG 检测到死锁数。
rows_deleted / rows_fetched / rows_inserted / rows_returned / rows_updated LONG 间隔的行级别活动。
sessions_abandoned / sessions_established / sessions_fatal / sessions_killed LONG 会话生命周期计数。
shared_blks_hit / shared_blks_read LONG 共享缓冲区缓存活动。
xact_commit / xact_rollback LONG 已提交和回滚事务。

database_gauges

列 类型 Description
datid / datname 长线 / 弦 数据库的对象 ID 和名称。
numbackends LONG 到此数据库的当前连接数。
size LONG 数据库的磁盘大小。
oldest_frozen_xid_age / oldest_mxid_age LONG 最旧的未冻结行的事务 ID 和多重处理 ID 年龄。 上升的值是最早的真空信号落在后面,在膨胀在表大小中可见之前。

局限性

注释

密码在捕获语句时被涂黑,因此捕获 CREATE ROLE 的密码读为 PASSWORD '***'。 遮蔽依赖于检测到语句中的密码,而错误的语句可能会逃避检测。

Azure Databricks 推荐 OAuth 角色,这些角色用令牌认证 Azure Databricks 身份,且不留密码输入。

以下限制适用:

  • COPY 操作不会被记录在查询计划历史中。

  • 在 PL/pgSQL 函数或过程中执行的查询,不会被纳入查询级遥测数据,除非它同时作为顶层语句运行。 Postgres 自己的语句跟踪默认仅计算顶级语句。

  • 分支和端点在遥测和洞察中按内部ID(例如) br-odd-mud-y2icrn1h显示,而不是像“生产”这样的显示名称。如果你必须确认洞察或表行指向哪个分支或端点,请在Lakebase UI中交叉核对ID。

  • 启用遥测捕获的 GUC 可能不会自动传播到现有计算。 如果预览启用后遥测数据没有出现,连接项目并检查:

    SHOW neon_monitor.log_capture_enabled;
    SHOW databricks.o11y_exporter_enabled;
    

    两者都必须返回 on。 如果任一返回 off,请重启计算终结点。

遗留可观测配置

在遥测技术转向系统表之前,你可以创建一个可观测性配置,将遥测数据记录到你自己的Unity目录和模式,并提供预构建的仪表盘。 这些配置不再将遥测数据写入到这些目的地。 他们的仪表盘仍保留历史数据,但不会接收新数据。 你不能再创建新的可观察性配置,捕获到系统表也不会创建仪表盘。

后续步骤