Unity Gateway 概念

Unity Gateway 将注册、发现和访问 AI 模型和工具集中于一处。 控制谁可以使用这些设备,监控使用情况,并管理跨应用和代理的成本。

Unity Gateway 利用这些概念来管理通过 服务策略实现的模型、模型提供者、工具、技能和防护栏:

概念 它的作用是什么 Example
模型 一个大型语言模型(LLM)或嵌入模型。 已注册的模型需要模型服务来处理请求。 gpt-astra-6。
模型服务 一个端点,将推理请求转换并路由到一个或多个模型,具有 流量分割和备份功能。 支持 实时请求,以及 批处理推理。 frontier-model: GPT Astra 6 在 Azure Databricks 上运行,Claude Opus 5 作为备用。
opus-5:Opus 5由Azure Databricks提供,AWS Bedrock作为备用。
模型提供者 通过集中管理的凭据将请求路由到外部模型提供者的连接。 anthropic-prod:与Anthropic的联系。
MCP 一个接口,供代理通过模型上下文协议(MCP)发现和调用工具。 support-tools:用于 Slack 和 Jira 的工具。
技能 代理加载的可重复使用的指令和文件,用于指导其工作。 customer-support:一本支援剧本。
服务政策 实施保护栏,通过内置、自定义或 外部 策略检查对AI服务的请求和响应。 内置 detect_sensitive_data 策略检测模型请求和响应中配置的敏感数据类型,如信用卡号码。 它会阻止或隐去匹配项。

各个部分如何协同工作

调用模型服务以访问 Azure Databricks 上的 gpt-astra-6,并可通过 aws-bedrock 使用同一模型作为备用。 你可以更改模型或备份,而无需更改应用程序调用的名称。 将内置的敏感数据检测服务策略附加到模型服务上,以检查配置敏感数据类别的请求和响应。

Codex 代理加载客户支持技能,调用受 detect_sensitive_data 服务策略保护的模型服务,该策略检查模型请求和响应。模型服务路由至 Databricks 上的 gpt-astra-6,或通过 aws-bedrock 模型提供者退回同一模型。代理还通过 MCP 访问 Slack 和 Jira。

呼叫模型与工具

将 <workspace-url> 和示例名称替换为你自己的内容。 请参阅快速入门以设置DATABRICKS_TOKEN。

模型服务

模型服务为兼容模型支持统一 API(如 与 OpenAI 兼容的 Chat Completions)以及提供商原生 API(如 Anthropic Messages)。

使用统一的聊天补全 API 调用 frontier-model。 服务选择型号:

curl "https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions" \
  -H "Authorization: Bearer $DATABRICKS_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "production.ai.frontier-model",
    "max_tokens": 256,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

有关SDK示例及其他API,请参见 查询基础和嵌入模型 。

模型提供者

通过anthropic-prod使用 Anthropic Messages API 调用外部模型。 标头用于选择连接,而 Unity Gateway 提供该连接的凭据:

curl "https://<workspace-url>/ai-gateway/anthropic/v1/messages" \
  -H "Authorization: Bearer $DATABRICKS_TOKEN" \
  -H "Databricks-Model-Provider-Service: production.ai.anthropic-prod" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "claude-opus-5",
    "max_tokens": 256,
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

请参阅 查询外部模型提供者(模型提供者服务) 以了解支持的提供者API。

MCP

列出通过 support-tools 可用的工具:

curl "https://<workspace-url>/ai-gateway/mcp-services/production.ai.support-tools" \
  -H "Authorization: Bearer $DATABRICKS_TOKEN" \
  -H "Content-Type: application/json" \
  -H "Accept: application/json, text/event-stream" \
  -d '{
    "jsonrpc": "2.0",
    "id": 1,
    "method": "tools/list",
    "params": {}
  }'

关于工具调用和代理集成,请参见“从 Python 代理调用 MCP 工具”。

Unity 目录与访问控制

Unity Gateway 与 Unity 目录 集成,以控制谁 创建服务、 接入模型提供商、调用或共享访问权限。 Unity 目录还管理注册模型、技能以及谁可以 附加服务政策。

Unity Catalog 安全对象

模型、模型服务、模型提供者、MCP和技能都是 Unity Catalog的可保护对象:你可以授予权限的对象。 它们的名称紧随 catalog.schema.name,例如 production.ai.frontier-model。 Azure Databricks提供的模型服务注册于system.ai。

模型提供者在 Unity 目录中注册为模型提供者服务。 服务政策是附加于服务的,而不是独立的可担保资产。

在 Unity 目录中,模型是一个静态资产:版本、元数据和工件。 将其注册并不会使其可调用。 对于外部模型,注册的是模型提供者连接,而非模型本身。

密钥权限

授予用户、组或服务主体权限。 对于 模型服务、 模型提供者和 MCP,主要权限将使用与管理分开:

Privilege 它允许的内容
EXECUTE 调用模型服务、模型提供方或 MCP。
CREATE SERVICE 在架构中创建服务并接入模型提供程序。
READ METADATA 检查配置。
MANAGE 更改配置并授权其他用户访问。

调用方还需要对父目录和架构具有 USE CATALOG 和 USE SCHEMA 权限。 服务政策限制授权通话。 他们不会授予访问权限。 请参阅每个概念的完整权限要求页面。

开始

从一个现成的模型服务 system.ai开始,或者连接你的编码代理:

Topic Description
发送你的第一个请求 查询一个模型,查看其在网关中的使用情况。
连接编码代理 使用你偏好的编码代理,搭配 Azure Databricks 提供的模型。
监视使用情况 检查模型和工具的活动、性能和成本。
建立治理 配置组织AI使用的访问权限和策略。