捆绑与探索功能

Databricks IDE 扩展在 Visual Studio Code 中提供了额外功能,使你能够定义、部署和运行声明式自动化包,并探索工作区文件和 Unity 目录。

要安装Databricks IDE扩展,请参见 “安装Databricks IDE扩展”。

项目中的声明性自动化捆绑包支持

Databricks IDE 扩展为您的声明式自动化捆绑包项目添加了以下功能:

  • 通过 Visual Studio Code UI 轻松进行身份验证和配置声明性自动化捆绑包,包括 AuthType 配置文件选择。 参见 Databricks IDE 扩展的授权设置。
  • Databricks 扩展中的 目标 选择器,用于快速切换捆绑目标环境。 请参阅更改目标部署工作区。
  • 扩展中的 捆绑包中覆盖作业 集群选项,方便集群覆盖。
  • “捆绑包资源浏览器”视图,可以使用 Visual Studio Code UI 浏览捆绑包资源,只需单击一下鼠标即可将本地 Databricks 资产捆绑包的资源部署到远程 Azure Databricks 工作区,然后直接从 Visual Studio Code 转到工作区中已部署的资源。 请参阅捆绑包资源浏览器。
  • 捆绑包变量视图,让你能够使用 Visual Studio Code UI 浏览和编辑捆绑包变量。 请参阅 捆绑变量。

包资源浏览器

Databricks IDE 扩展中的 捆绑资源资源探索器 视图利用项目捆绑配置中的资源定义来显示资源,包括管道数据集及其模式。 使用它,你还可以部署和运行资源、验证和执行管道的部分更新、查看管道运行事件和诊断,以及导航到远程 Azure Databricks 工作区中的资源。 有关捆绑包配置资源的信息,请参阅资源。

例如,给定一个简单的作业定义:

resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

扩展中的Bundle 资源浏览器视图显示笔记本作业资源:

软件包资源浏览器

部署和运行作业

若要部署捆绑包,请单击云(部署捆绑包)图标。

部署捆绑包

若要运行作业,请在“捆绑包资源浏览器”视图中,选择作业的名称,在本示例中为“我的笔记本作业”。 接下来,单击“播放”(部署捆绑包并运行资源)图标。

部署捆绑包并运行资源

若要查看正在运行的作业,请在捆绑包资源浏览器视图中展开作业名称,单击“运行状态”,然后单击“链接”(外部打开链接)图标。

外部打开职位链接

验证和诊断管道问题

对于管道,你可以通过选择管道,然后选择对勾(“部署捆绑包并验证管道”)图标来触发验证和部分更新。 随即会显示运行的事件,并且任何故障都可以在 Visual Studio Code“问题”面板中进行诊断。

部署捆绑包并验证管道

管道运行事件

捆绑变量

Databricks IDE 扩展中的 “捆绑变量视图 ”会显示捆绑配置中定义的任何自定义变量和相关设置。 您还可以使用“包变量视图”直接定义变量。 这些值替代在捆绑包配置文件中设置的值。 有关自定义变量的信息,请参阅自定义变量。

例如,扩展中的包变量视图将显示以下内容:

包变量视图

对于在此捆绑包配置中定义的变量 my_custom_var:

variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}

工作区文件系统

Databricks IDE 扩展窗格中的 Workspace 文件系统视图允许您直接在 Visual Studio Code 或光标中查看并打开 Databricks 工作区文件。 单击笔记本以在 Databricks 中打开它。 还可以使用扩展窗格中的控件从 IDE 创建文件或文件夹,或将文件上传到工作区。

Unity 目录

Databricks IDE 扩展窗格的 Unity 目录 视图显示你的 Databricks 目录。 使用此扩展视图中的控件打开 Databricks 中的目录、架构或其他数据资产。