Important
此功能在 Beta 版中。 要使用它,工作区管理员必须在预览页面开启系统表中的 Lakebase 可观察性。 请参阅 Manage Azure Databricks 预览版。
启用 Lakebase 系统表中的可观测 性预览后,Lakebase 会将可观测遥测数据捕获到 system.lakebase 模式中,从高级 Postgres 信号开始。 捕获会自动开始,同时项目的计算运行。 你不需要创建配置、选择目的地或提供凭证。
Insights 和 Genie 读取的是相同的表格,你可以用任何 Azure Databricks 工具查询它们。
注释
在正式发布之前,表和列名可能会更改。
Requirements
- 你的工作区必须启用 Lakebase 系统表中的可观测 预览功能。 工作区管理员可以从 预览页面启用。 启用 Lakebase Insights 预览也会启用,如果还没有启用的话。
- 您的工作区还必须启用 Lakeflow Connect Zerobus Ingest 和 Zerobus Ingest 默认存储 预览。 Lakebase 通过 Zerobus Ingest 写入遥测数据,因此只要两者关闭,系统 表中的 Lakebase 可观测 性和 Lakebase Insights 预览都会保持关闭状态。 工作区管理员可以在 预览页面启用它们。
- 你需要在 AWS 或 Azure 上做 Lakebase 项目。 请参阅 获取 Postgres 数据库。
捕获的内容
Lakebase 记录你需要的信号,用于解释一个缓慢或失效的数据库,分布在以下表格中:
| 捕获的内容 | 表名称 |
|---|---|
| 活跃会话和等待事件 |
system.lakebase.active_session_history、system.lakebase.wait_event_counters |
| 查询计划和每个查询的执行统计信息 |
system.lakebase.plan_history、system.lakebase.pg_stat_statements_counters |
| 架构更改:更改了什么、何时更改以及由谁更改 | system.lakebase.ddl_history |
| 数据库统计信息:大小、读取和修改行以及会话计数 |
system.lakebase.database_counters、system.lakebase.database_gauges |
| 计算资源使用情况:CPU、内存、缓存、连接 |
system.lakebase.compute_counters、system.lakebase.compute_gauges |
| 原始 Postgres 日志消息,包括失败背后的错误 | system.lakebase.postgres_logs |
记录保存期限为7天。 本页其余部分记录了每张表格的每一列。 关于这些表在系统表中的位置,请参见 Lakebase 系统表参考。
Access
这些 system.lakebase 表由Unity Catalog管理。 同时拥有账户管理员和元存储管理员角色的用户可以读取遥测数据并管理访问权限。 请参阅在 Unity Catalog 中管理权限。
访问权限在模式层面生效,因此能读取 system.lakebase 的用户能看到账户内每个项目的遥测数据。
伪装声明文本
除非你是账户管理员或账户级别组成员databricks_pii_access,否则存放账单文本的列会返回<REDACTED>。 账户管理员负责创建和管理该组。 参见 创建和管理 databricks_pii_access 群 组和 访问掩蔽语句文本。
每个表通用的列
下表包括以下列,这些列标识行来自何处:
| 列 | 类型 | Description |
|---|---|---|
project_id |
STRING | 该行来自的 Lakebase 项目。 |
branch_id |
STRING | 该行来自的分支。 |
endpoint_id |
STRING | 行来自的计算终结点。 |
compute_id |
STRING | 特定的计算实例。 当计算缩放到零并恢复时,此更改。 |
ts |
TIMESTAMP | 记录行时。 |
compute_mode |
STRING | 计算时的模式,例如读写或只读。 |
以名称结尾 _counters 的表还包括一列 previous_ts ,用于标记行值累积的间隔的开始。 这些是该间隔的累积值,而不是时间点读数。 以时间点读取结尾 _gauges 的表,没有 previous_ts。
下表仅列出这些常见列以外的列。
会话活动
每个活动后端的快照,持续采样。 这与 AWS Performance Insights 或 Oracle 的活动会话历史记录(ASH)相同:如果会话正在执行任何操作(包括等待),则会在此处显示。
active_session_history
| 列 | 类型 | Description |
|---|---|---|
sample_seq |
LONG | 此示例在其批处理中的序号位置。 |
pid |
LONG | 后端的进程 ID。 |
datid |
LONG | 数据库的对象 ID。 |
userid |
LONG | 连接角色的对象 ID。 |
queryid |
LONG | 标识正在运行的查询。
queryid匹配项。pg_stat_statements_counters |
wait_event_info |
LONG | 等待事件的内部编码。 |
wait_event_type |
STRING | 等待事件的类别,例如 Timeout 或 Lock。 |
wait_event |
STRING | 例如, PgSleep特定的等待事件。 |
backend_state |
LONG | 后端的状态,例如活动或空闲。 |
backend_type |
LONG | 后端进程的类型。 |
xact_age_ms |
LONG | 当前事务已打开多长时间。 |
query_age_ms |
LONG | 当前查询的运行时间。 |
blocking_pid |
LONG | 会话的 PID 阻止此会话(如果有)。 |
leader_pid |
LONG | 如果此后端是并行辅助角色,则并行查询领导者的 PID。 |
flags |
LONG | 内部状态标志。 |
plan_fingerprint |
LONG | 指向特定 plan_history计划形状的链接。 |
appname_hash |
LONG | 连接应用程序名称的哈希。 |
等待事件
聚合的等待事件计数和时间,是对每个样本视图的 active_session_history补充。
wait_event_counters
| 列 | 类型 | Description |
|---|---|---|
wait_event_id |
LONG | 等待事件的内部编码。 |
wait_class_name |
STRING | 等待事件的类别。 |
wait_event_name |
STRING | 特定的等待事件。 |
wait_event_count |
LONG | 此等待事件在间隔内发生的次数。 |
wait_event_time |
DOUBLE | 在此等待事件期间花费的总时间。 |
查询计划
查询计划的按执行记录,包括完整计划和 Neon 特定的存储统计信息。这是最详细的表,通常是慢查询调查最终出现的位置。
plan_history
| 列 | 类型 | Description |
|---|---|---|
row_position |
LONG | 此行在其批处理中的序号位置。 |
analyze_enabled |
BOOLEAN | 计划是否包括实际执行统计信息(EXPLAIN ANALYZE而不仅仅是估计)。 |
buffers_enabled |
BOOLEAN | 计划是否包括缓冲区使用情况统计信息。 |
query_hash |
STRING | 标识查询文本的哈希。 |
queryid |
LONG | 标识查询。 匹配 queryid 项 pg_stat_statements_counters 和 active_session_history。 |
duration_ms |
DOUBLE | 运行查询所花费的时间。 |
total_cost |
DOUBLE | 规划器的查询估计成本。 |
plan_rows |
LONG | 规划器估计的行计数。 |
actual_rows |
LONG | 返回的实际行计数。 |
plan_fingerprint |
LONG | 标识此特定计划形状。
plan_fingerprint匹配项。active_session_history |
lock_wait_time_ms |
DOUBLE | 等待锁所用的时间。 |
planning_time_ms |
DOUBLE | 规划查询所用的时间,与执行不同。 |
shared_blks_hit / shared_blks_read / shared_blks_dirtied / shared_blks_written |
LONG | 此执行的共享缓冲区缓存活动。 |
local_blks_hit / local_blks_read / local_blks_dirtied / local_blks_written |
LONG | 临时表的本地缓冲区活动。 |
temp_blks_read / temp_blks_written |
LONG | 临时文件活动,例如从大型排序或哈希。 |
neon_getpage_count |
LONG | 发送到页面服务器的页面请求数。 |
neon_file_cache_hits |
LONG | 从本地文件缓存而不是页服务器提供的页面数。 |
neon_getpage_wait_us |
LONG | 在页面服务器页面请求上等待的时间(以微秒为单位)。 |
backend_pid |
LONG | 运行此查询的后端进程 ID。 |
lock_wait_count |
LONG | 此执行在锁上等待的次数。 |
userid / dbid |
LONG | 连接角色和数据库的对象 ID。 |
query_text |
STRING | 查询文本。 戴着面具。 详见 蒙面声明文本。 |
plan_json |
STRING | 完整的查询计划,作为 JSON。 戴着面具。 详见 蒙面声明文本。 |
usename / datname |
STRING | 连接角色和数据库的名称。 |
application_name / client_addr |
STRING | 连接应用程序的名称和客户端地址。 |
wait_events |
STRING | 在此执行期间观察到的等待事件。 |
parameters |
STRING | 绑定查询中使用的参数(如果有)。 戴着面具。 详见 蒙面声明文本。 |
blocking_pids |
STRING | 阻止此执行的会话的 PID(如果有)。 |
neon_branch_id / neon_endpoint_id / neon_timeline_id |
STRING | 分支、终结点和时间线的内部 Neon 标识符。 |
cpu_user_time_ms / cpu_sys_time_ms |
DOUBLE | 此执行所用的 CPU 时间,拆分为用户和系统时间。 |
voluntary_csw / involuntary_csw |
LONG | 在此执行过程中,上下文切换。 |
trace_id / span_id / trace_flags / service_name |
弦 / 弦 / 长弦 / 弦 | 如果查询是跟踪请求的一部分,则 OpenTelemetry 样式跟踪标识符。 |
timeline_id |
LONG | 内部时间线标识符。 |
truncated |
BOOLEAN | 此行的数据(例如,大型计划)在写入之前是否被截断。 |
查询统计信息
基于标准 pg_stat_statements 扩展的按查询聚合统计信息。
pg_stat_statements_counters
| 列 | 类型 | Description |
|---|---|---|
userid / dbid |
LONG | 连接角色和数据库的对象 ID。 |
queryid |
LONG | 标识查询。 匹配 queryid 项 plan_history 和 active_session_history。 |
toplevel |
BOOLEAN | 此行是否用于顶级语句,而不是嵌套在 PL/pgSQL 函数或过程中的语句。 请参阅 PL/pgSQL 限制。 |
query |
STRING | 查询文本。 戴着面具。 详见 蒙面声明文本。 |
calls |
LONG | 此查询在间隔内执行的次数。 |
plans |
LONG | 此查询按间隔计划的时间。 |
rows |
LONG | 返回或受影响的总行数。 |
total_exec_time / total_plan_time |
DOUBLE | 执行和规划此查询所用的总时间(以间隔为单位)。 |
shared_blks_hit / shared_blks_read / shared_blks_dirtied / shared_blks_written |
LONG | 共享缓冲区缓存活动。 |
local_blks_hit / local_blks_read / local_blks_dirtied / local_blks_written |
LONG | 临时表的本地缓冲区活动。 |
temp_blks_read / temp_blks_written |
LONG | 临时文件活动。 |
wal_bytes / wal_fpi / wal_records |
LONG | 此查询生成的预写日志卷。 |
jit_emission_count / jit_emission_time / jit_functions / jit_generation_time / jit_inlining_count / jit_inlining_time / jit_optimization_count / jit_optimization_time |
Mixed | JIT(实时)编译统计信息(如果 JIT 用于此查询)。 |
架构更改
架构更改:更改、何时和由谁更改。 这是 Genie 从部署还是手动编辑中读取的事件,以跟踪事件回架构更改。
ddl_history
| 列 | 类型 | Description |
|---|---|---|
row_position |
LONG | 此行在其批处理中的序号位置。 |
command_tag |
STRING | 例如,DDL 命令 ALTER TABLE的类型。 |
object_type / object_name |
STRING | 更改的对象的类型和名称。 |
schema_name |
STRING | 对象所属的 Postgres 架构。 |
query_text |
STRING | 完整的 DDL 语句。 戴着面具。 详见 蒙面声明文本。 |
duration_ms |
DOUBLE | DDL 语句运行的时间。 |
userid / usename |
长线 / 弦 | 连接角色的对象 ID 和名称。 |
application_name |
STRING | 连接应用程序的名称。 |
backend_pid |
LONG | 运行语句的后端进程 ID。 |
dbid |
LONG | 数据库的对象 ID。 |
search_path |
STRING | 会话当时的搜索路径。 |
ddl_json |
STRING | DDL 语句的结构化分析表示形式。 戴着面具。 详见 蒙面声明文本。 |
注释
DDL 捕获存在实际差距:可以错过从小到零开始计算恢复的更改。 如果架构更改未在此处显示,即使你知道它发生了,这是最有可能的原因。 请参阅限制。
Postgres 日志
原始 Postgres 日志消息,包括失败背后的特定错误。
postgres_logs
| 列 | 类型 | Description |
|---|---|---|
sample_seq |
LONG | 此行在其批处理中的序号位置。 |
elevel |
LONG | 内部日志级别编码。 |
severity |
STRING | 例如,日志严重性 ERROR 或 LOG。 |
sqlstate |
STRING | Postgres SQLSTATE 错误代码,例如 42703 未定义的列。 |
backend_pid / leader_backend_pid |
LONG | 后端进程 ID 及其并行查询领导者的 PID(如果适用)。 |
userid / usename |
长线 / 弦 | 连接角色的对象 ID 和名称。 |
datid / datname |
长线 / 弦 | 数据库的对象 ID 和名称。 |
application_name / client_addr |
STRING | 连接应用程序的名称和客户端地址。 |
schema_name / table_name / column_name / constraint_name / datatype_name |
STRING | Postgres 有一个架构、表、列、约束或由错误引用的数据类型。 |
funcname |
STRING | 发生错误的函数(如果适用)。 |
filename / lineno |
弦 / 长 | Postgres 源文件并行错误来源。 |
message |
STRING | 日志消息文本。 |
detail / hint / context |
STRING | Postgres 包含这些详细信息时,建议进行修复,以及错误的上下文。 |
internalquery |
STRING | 与错误相关的内部生成的查询(如果适用)。 |
statement |
STRING | 触发此日志条目的语句。 戴着面具。 详见 蒙面声明文本。 |
truncated_mask |
LONG | 指示在写入之前截断了哪些字段(如果有)。 |
注释
对于每个错误类型,不会填充结构化schema_nametable_name字段和column_name字段。 例如,纯“列不存在”分析错误(SQLSTATE 42703例如,即使 message 直接将列命名为空)。 不要依赖填充的这些字段。 首先检查 message 。
计算指标
计算级资源使用情况:CPU、内存、磁盘和网络 I/O 以及本地文件缓存(LFC),Lakebase 的计算端缓存位于页面服务器前面。
compute_counters
| 列 | 类型 | Description |
|---|---|---|
backpressure_throttling_seconds |
DOUBLE | 存储层在此间隔内花费限制写入的时间。 非零值表示写入量超出了存储可以吸收的内容。 |
host_busiest_cpu_seconds / host_cpu_seconds |
DOUBLE | CPU 耗时,对于最繁忙的核心和总共。 |
host_disk_read_bytes / host_disk_written_bytes |
DOUBLE | 磁盘 I/O 卷。 |
host_network_receive_bytes / host_network_transmit_bytes |
DOUBLE | 网络 I/O 卷。 |
lfc_evictions / lfc_hits / lfc_misses / lfc_writes |
LONG | 此间隔的本地文件缓存活动。 |
replica_lfc_redo_evictions |
LONG | 如果此计算是只读副本,则副本重做导致的本地文件缓存逐出。 |
compute_gauges
| 列 | 类型 | Description |
|---|---|---|
current_lsn |
LONG | 当前预写日志位置。 |
replica_wal_replay_lsn / replica_wal_receive_lsn |
LONG | WAL 重播和接收位置(如果此计算是只读副本)。 |
max_connections |
LONG | 配置的连接限制。 |
lfc_working_set_size_5m / lfc_working_set_size_15m / lfc_working_set_size_60m |
LONG | 过去 5、15 和 60 分钟的估计工作集大小。 |
lfc_size_limit / lfc_allocated / lfc_used |
LONG | 本地文件缓存容量和当前使用情况。 |
total_size_limit / total_size |
LONG | 总体存储容量和当前使用情况。 |
replication_lag_bytes / replication_lag_time_ms |
长 / 双 | 复制延迟(如果此计算是只读副本)。 |
host_logical_cpus / host_memory_total_bytes |
DOUBLE | 计算预配的 CPU 和内存。 |
数据库指标
每个数据库活动:行已更改、事务、会话和清空运行状况。 这是表膨胀和 autovacuum 信号的实时位置。
database_counters
| 列 | 类型 | Description |
|---|---|---|
datid / datname |
长线 / 弦 | 数据库的对象 ID 和名称。 |
active_time_ms / idle_in_transaction_time_ms / session_time_ms |
DOUBLE | 活动时间、在打开的事务中空闲和整体连接的时间。 |
deadlocks |
LONG | 检测到死锁数。 |
rows_deleted / rows_fetched / rows_inserted / rows_returned / rows_updated |
LONG | 间隔的行级别活动。 |
sessions_abandoned / sessions_established / sessions_fatal / sessions_killed |
LONG | 会话生命周期计数。 |
shared_blks_hit / shared_blks_read |
LONG | 共享缓冲区缓存活动。 |
xact_commit / xact_rollback |
LONG | 已提交和回滚事务。 |
database_gauges
| 列 | 类型 | Description |
|---|---|---|
datid / datname |
长线 / 弦 | 数据库的对象 ID 和名称。 |
numbackends |
LONG | 到此数据库的当前连接数。 |
size |
LONG | 数据库的磁盘大小。 |
oldest_frozen_xid_age / oldest_mxid_age |
LONG | 最旧的未冻结行的事务 ID 和多重处理 ID 年龄。 上升的值是最早的真空信号落在后面,在膨胀在表大小中可见之前。 |
局限性
注释
密码在捕获语句时被涂黑,因此捕获 CREATE ROLE 的密码读为 PASSWORD '***'。 遮蔽依赖于检测到语句中的密码,而错误的语句可能会逃避检测。
Azure Databricks 推荐 OAuth 角色,这些角色用令牌认证 Azure Databricks 身份,且不留密码输入。
以下限制适用:
COPY操作不会被记录在查询计划历史中。在 PL/pgSQL 函数或过程中执行的查询,不会被纳入查询级遥测数据,除非它同时作为顶层语句运行。 Postgres 自己的语句跟踪默认仅计算顶级语句。
分支和端点在遥测和洞察中按内部ID(例如)
br-odd-mud-y2icrn1h显示,而不是像“生产”这样的显示名称。如果你必须确认洞察或表行指向哪个分支或端点,请在Lakebase UI中交叉核对ID。启用遥测捕获的 GUC 可能不会自动传播到现有计算。 如果预览启用后遥测数据没有出现,连接项目并检查:
SHOW neon_monitor.log_capture_enabled; SHOW databricks.o11y_exporter_enabled;两者都必须返回
on。 如果任一返回off,请重启计算终结点。
遗留可观测配置
在遥测技术转向系统表之前,你可以创建一个可观测性配置,将遥测数据记录到你自己的Unity目录和模式,并提供预构建的仪表盘。 这些配置不再将遥测数据写入到这些目的地。 他们的仪表盘仍保留历史数据,但不会接收新数据。 你不能再创建新的可观察性配置,捕获到系统表也不会创建仪表盘。
后续步骤
- 检测 Insights 的问题:按计划审核此遥测数据的代理。
- 调查并修复Genie的问题:用你自己的话来询问有关遥测数据的问题。
- Lakebase 系统表参考:这些表在其他系统表中的位置。