Important
此功能在 Beta 版中。 要在工作区中启用此功能预览,请选择在工作区预览页面启用 Databricks沙盒 设置。 请参阅 Manage Azure Databricks 预览版。
Databricks 沙盒允许您通过 Databricks REST API、SDK 或 Databricks CLI 在隔离环境中运行不受信任的代码。 沙箱提供无服务器的按需计算,支持动态运行代码。
每个沙盒都包含一个持久的主目录。 你可以随时停止和启动沙盒,而且主目录中的数据会保留。
沙盒的理想用途:
- 运行智能体工具。
- 执行用户编写或AI编写的代码。
- 运行后台任务或工人。
- 启动交互式IDE或SSH会话。
Prerequisites
工作区必须位于受支持的区域中。 请参阅区域可用性受限的功能。
要使用SDK,就要Python 3.10或更高版本。
要通过SSH使用Databricks CLI,安装 Databricks CLI 并用以下方式
databricks auth login进行认证:databricks auth login # authenticate to a Databricks workspace
开始
要创建沙盒并在其中运行代码,请参见 Databricks沙盒快速入门。 快速入门涵盖了使用沙盒的每种方式:
- 这是适用于使用 Agent Bricks CLI 生成的智能体的沙盒工具。
- Databricks SDK for Python,是推荐的通过代码使用沙盒的方式。
- 通过 SSH 连接到沙盒的 Databricks CLI。
计算大小
Databricks Sandbox 配备了 4 个 vCPU 和 8 GB 内存。 这个尺寸无法配置。
存储
Warning
在测试阶段结束时,Databricks 可能会一次性清理沙箱中存储的数据。 不要储存任何你无法承受失去的东西。
Databricks Sandbox 自带网络附加存储。
- 你家目录
/home/sandbox-agent()中的数据会在Databricks沙盒的整个生命周期内持续存在。 即使停止了Databricks沙盒,下一次会话开始时,主目录中的数据依然可用。 - 你的家庭目录最多可以存储100GB。 你无法更改此限制。
- 你可以在主目录外存储最多10 GB,但当你停止沙箱时,这些数据会被删除。 此限制不适用于
/Workspace或/Volumes下的文件,这些文件存储在工作区或卷中。 请参阅 访问工作区文件和卷。
访问工作区文件和卷
每个沙箱将工作区文件和 Unity Catalog 卷挂载为本地目录。 沙箱中的代码和代理可以使用标准文件工具(如 ls、 cp或 Python)open()读写这些文件,而无需调用 Databricks SDK 或 Databricks CLI。
| 路径 | 内容 |
|---|---|
/Workspace |
工作区文件,例如 /Workspace/Users/<user-name> 和 /Workspace/Shared。 参见 “以编程方式与工作区文件交互”。 |
/Volumes/<catalog>/<schema>/<volume> |
Unity Catalog 卷中的文件。 请参阅 在 Unity Catalog 卷中处理文件。 |
访问这些路径使用的是 Azure Databricks 为沙箱创建的凭据,而不是调用沙箱时使用的令牌。 对您的调用令牌的限制不适用于这些路径。 该凭据与沙箱中用于调用 Azure Databricks API 的 Databricks 凭证是分开的。 访问权限遵循沙箱身份的工作区和 Unity 目录权限:
- 对于使用 Databricks SDK 或 Databricks CLI 创建的沙箱,其身份是创建该沙箱的用户。
- 对于 Agent Bricks 沙箱工具,身份是发送请求的用户;或者,如果您使用
--auth app配置该工具,则身份为应用的服务主体。 参见 “为现有代理提供沙箱工具以安全执行代码”。
该身份需要以下权限:
- 工作区文件:查看工作区文件以读取该文件的权限,以及编辑以写入该文件的权限。
-
存储卷:读取文件需要
READ VOLUME权限,写入文件则需要同时具有READ VOLUME和WRITE VOLUME,此外还需要在父级 catalog 和 schema 上具有USE CATALOG和USE SCHEMA权限。 请参阅 Unity 目录卷的特权。
你在 /Workspace 或 /Volumes 下写入的文件会存储在工作区或卷中,而非沙箱存储中,因此在你停止或删除沙箱后它们仍会保留。
/Workspace 和 /Volumes 是唯一挂载在沙箱中的工作区数据路径。 DBFS 根目录和云存储路径在沙箱中无法作为本地路径使用。
网络
沙箱中的网络出口没有限制,出口也不可配置。 对沙盒公网 IP 的直接入站流量对所有流量均关闭,你无法更改这一点。
端口转发
要从您的机器访问运行在沙箱中的 Web 服务器、笔记本或 API,请使用端口转发。 转发的流量会通过工作区,而不是使用沙箱的公共 IP。 只有沙盒所有者可以转发端口。 有关说明,请参阅 “从沙箱转发端口”。
Databricks 凭证
为了让沙箱中的代码能够调用 Azure Databricks API,每个沙箱都会被配置一个 Azure Databricks 凭据,该凭据作为沙箱的身份进行身份验证。 对于使用 Databricks SDK 或 Databricks CLI 创建的沙箱,那就是创建该沙箱的用户。 对于 Agent Bricks 沙箱工具,发送请求的用户是发送请求的用户,或者如果你用 --auth app配置工具,则是应用的服务主体。 凭据中的每个令牌有效期为1小时,并在到期前自动刷新。 刷新最长可持续24小时,之后凭证失效。 该凭证寿命与 24小时运行时间限制是分开的。 凭据不依赖于你的登录会话,所以即使你退出登录或你的令牌过期,凭据依然有效。
凭据保存在 ~/.databrickscfg 中,作为 DEFAULT 配置文件,因此 Databricks SDK 和沙箱中的 Databricks CLI 会自动使用它。
自定义映像
你可以从你自己的容器镜像(存放在 Artifact Registry)创建沙箱,这样每个沙箱在启动时已预先安装好你的包、工具和配置。 参见 从自定义映像创建沙盒。
使用成本
Databricks目前不对使用此功能收费。 不过,测试版功能的成本和定价可能会有所调整。
完整的计费使用信息,请参见 Databricks定价。 Databricks 预计将对以下沙盒用量收费:
- 运行时计算:在Databricks沙箱运行时按小时计费。
- 持久存储:在Databricks沙箱被删除之前,你会为存储在家目录中的数据计费。 只要 Databricks 沙盒实例存在,就会产生存储费用。 要停止支付存储费用,必须删除沙盒。
- 数据传输
局限性
- 配额已强制执行。 默认情况下,每个用户最多有 200 个活跃沙盒(所有状态下总计 800 个),一个工作区最多有 400 个活跃沙盒(总共 2,000 个)。 如需申请增加,请联系您的 Azure Databricks 帐户团队。 请参阅资源限制。
- 你无法通过SSH连接到你用Databricks SDK创建的沙盒。 要通过SSH连接,可以用Databricks CLI创建沙箱。 请参见 使用 Databricks CLI 创建沙箱。
- Databricks Sandbox 是运行代码的计算原语,而不是通用的 Spark 运行时。 对于 Spark 工作负载,使用 连接到无服务器计算。
- 你的Databricks沙盒的公共IP地址随时可能更改。
- 在停止沙箱后,主目录外的更改不会持续存在,除了你写入
/Workspace或/Volumes下的文件外。 参见 访问工作区文件和卷。 要用相同的包和配置启动每个沙盒,使用自定义镜像。 参见 从自定义映像创建沙盒。 要在一个沙盒的会话间重用文件,将它们存储在你的主目录中。 - 沙盒每次开始后最多运行24小时。 24小时后,Azure Databricks会停止沙箱,包括所有正在运行的命令和后台进程。 即使关闭
--no-autostop了非活动自动停止,这个限制依然适用,而且你无法通过 Databricks 的 CLI 或 API 扩展它。 继续时,重新开始沙盒,进入新的24小时周期。 你家目录中的数据会被保留。