将 Visual Studio Code 连接到 Windows Server 令牌工厂端点

Visual Studio Code 可以将 Windows 客户端上的聊天视图连接到托管在 Windows Server 上的兼容 OpenAI 令牌工厂端点。 此配置允许您在 Visual Studio Code 中使用组织托管模型,同时 Windows Server 集中管理模型托管和计算。

在本文中,您将在 Visual Studio Code 中将现有的 Windows Server 令牌工厂端点作为自定义端点添加,选择其模型,并验证模型是否响应。 该过程不会部署或保护令牌工厂端点。

Prerequisites

  • 下载当前的 Visual Studio Code 稳定版,并确保您能够访问聊天视图。
  • 一个现有的 Windows Server 令牌工厂端点,支持 OpenAI 兼容的聊天完成 API,并可从运行 Visual Studio Code 的计算机访问。
  • 从 Windows 11 客户端到服务器和端点端口的网络连接。 配置Windows防火墙以及任何中间的防火墙或代理,以允许连接。 将端点配置为在远程客户端可访问的网络接口上监听,而不仅仅是在环回地址上监听。
  • 一个域名系统(DNS)记录,Windows 11 客户端可以将其解析为 Windows Server 主机。
  • Windows 11客户端信任且其主题名或主题替代名称与端点URL中的主机名匹配的有效TLS证书。
  • 允许 Windows 11 客户端调用 Chat Completions 路由的端点访问控制。 从端点管理员那里获取任何必需的API密钥或令牌。
  • 一个受信任的 HTTPS URL,例如 https://<server-name>:<port>/v1/chat/completions。
  • 具体模型ID;模型显示名称,Visual Studio Code在语言模型选择器中显示;上下文限制;以及端点所有者或模型文档中支持的功能。
  • 该端点的身份验证标头要求。
  • 如果您的组织管理 GitHub Copilot,必须启用 VS Code 中的“自带语言模型密钥”策略。 有关详细信息,请参阅 在 VS Code 中使用自己的语言模型密钥。

你不需要 GitHub 账号或 GitHub Copilot 计划就能在聊天中使用自带密钥模型。 该定制端点不提供依赖于 GitHub Copilot 服务的功能,包括内联建议、语义搜索和嵌入。

添加 Windows Server 令牌工厂端点

Visual Studio Code 通过其兼容 OpenAI 的端点 URL 连接到 Windows Server 令牌工厂。

  1. 在 Visual Studio Code 中,打开聊天视图。

  2. 打开 语言模型选择器,然后选择 “管理语言模型 ”(齿轮图标)。

    你也可以打开 命令面板 ,运行 聊天:管理语言模型。

  3. 在 语言模型 编辑器中,选择 添加模型,然后选择 自定义端点。

  4. 输入一个团体名称。 该名称用于识别语言模型选择器和语言模型编辑器中的端点模型。

  5. 输入模型显示名和端点的API密钥。

  6. 对于 API 类型,请选择 Chat Completions。

  7. 在 chatLanguageModels.json Visual Studio Code 打开的文件中,配置模型属性,然后保存文件。

    使用端点和模型文档来设置属性。 至少,确认以下数值:

    财产 价值
    id 端点所期望的确切模型 ID。
    name Visual Studio Code 在语言模型选择器中显示的模型显示名称。
    url 完整路径,例如 https://<server-name>:<port>/v1/chat/completions。
    apiType chat-completions
    toolCalling true 仅当端点和模型支持工具调用时。
    vision true,前提是端点和模型支持图像输入。
    maxInputTokens 该模型支持的最大输入标记数。
    maxOutputTokens 该模型支持的最大输出令牌数。

    保留生成 apiKey 的输入引用,而不是直接把 API 密钥放进 chatLanguageModels.json。 Visual Studio Code 默认会在 Chat Completions 自定义端点的 Authorization: Bearer <api-key> 标头中发送该密钥。

    如果端点需要不同的认证头,则配置模型 requestHeaders 属性,并使用 ${apiKey} 令牌作为头值。 不要在配置文件里放置原始秘密。 有关支持的属性和认证行为,请参见自定义端点配置参考。

选择并验证令牌工厂模型

  1. 返回 聊天 视图,打开 语言模型选择器。

  2. 选择你配置的组名下的型号。

  3. 输入一个简短的测试提示,比如:

    Reply with one sentence that confirms you received this request.
    
  4. 确认 聊天 视图显示所选模型的回复。

  5. 如果你能访问推理端点日志,确认端点是否收到了配置型号ID的请求。

当所选模型返回响应且端点记录请求时,配置正常运行。

注意

模型必须支持工具调用,才能在聊天中供代理使用。 除非端点和模型支持该功能,否则不要将 toolCalling 设置为 true。

排查 Visual Studio Code 连接到 Windows Server 令牌工厂端点的问题

问题 需要检查的事项
自定义端点不可用 更新至当前稳定版的 Visual Studio Code。 如果您的组织管理 GitHub Copilot,请确认您的组织启用了自带密钥策略。
模型不会出现在模型选择器里 保存chatLanguageModels.json,然后重启 Visual Studio Code。 在 受限模式下的工作区中,信任工作区会恢复完整的模型列表。 对于代理使用场景,还要确认模型支持工具调用,并且 toolCalling 为 true。
端点返回认证错误 确认API密钥是当前的,且其认证头部符合端点要求。 如果端点需要另一个头部,就用${apiKey}令牌配置requestHeaders。
端点返回路由或API错误 确认 apiType 为 url,并且 /v1/chat/completions 包含完整的 Chat Completions 路由;当该端点公开该路由时,还应包括 chat-completions。
远程客户端无法连接到该端点 确认Windows 11客户端能否解析服务器主机名称并访问终端端口。 检查终端监听者地址、Windows防火墙以及任何中间的防火墙或代理。
远程端点返回TLS或证书错误 确认证书有效,Windows 11客户端信任它,并且终端URL覆盖了主机名。
端点拒绝远程客户端 确认端点访问控制允许客户端调用聊天完成路由,并且配置的凭证是否能访问所请求的模型。
请求到达端点但推理失败 确认模型ID与端点的模型ID完全匹配,且端点支持所请求的模型能力。 查看终端日志,查找请求失败的情况。