Visual Studio Code 可以将 Windows 客户端上的聊天视图连接到托管在 Windows Server 上的兼容 OpenAI 令牌工厂端点。 此配置允许您在 Visual Studio Code 中使用组织托管模型,同时 Windows Server 集中管理模型托管和计算。
在本文中,您将在 Visual Studio Code 中将现有的 Windows Server 令牌工厂端点作为自定义端点添加,选择其模型,并验证模型是否响应。 该过程不会部署或保护令牌工厂端点。
Prerequisites
- 下载当前的 Visual Studio Code 稳定版,并确保您能够访问聊天视图。
- 一个现有的 Windows Server 令牌工厂端点,支持 OpenAI 兼容的聊天完成 API,并可从运行 Visual Studio Code 的计算机访问。
- 从 Windows 11 客户端到服务器和端点端口的网络连接。 配置Windows防火墙以及任何中间的防火墙或代理,以允许连接。 将端点配置为在远程客户端可访问的网络接口上监听,而不仅仅是在环回地址上监听。
- 一个域名系统(DNS)记录,Windows 11 客户端可以将其解析为 Windows Server 主机。
- Windows 11客户端信任且其主题名或主题替代名称与端点URL中的主机名匹配的有效TLS证书。
- 允许 Windows 11 客户端调用 Chat Completions 路由的端点访问控制。 从端点管理员那里获取任何必需的API密钥或令牌。
- 一个受信任的 HTTPS URL,例如
https://<server-name>:<port>/v1/chat/completions。 - 具体模型ID;模型显示名称,Visual Studio Code在语言模型选择器中显示;上下文限制;以及端点所有者或模型文档中支持的功能。
- 该端点的身份验证标头要求。
- 如果您的组织管理 GitHub Copilot,必须启用 VS Code 中的“自带语言模型密钥”策略。 有关详细信息,请参阅 在 VS Code 中使用自己的语言模型密钥。
你不需要 GitHub 账号或 GitHub Copilot 计划就能在聊天中使用自带密钥模型。 该定制端点不提供依赖于 GitHub Copilot 服务的功能,包括内联建议、语义搜索和嵌入。
添加 Windows Server 令牌工厂端点
Visual Studio Code 通过其兼容 OpenAI 的端点 URL 连接到 Windows Server 令牌工厂。
在 Visual Studio Code 中,打开聊天视图。
打开 语言模型选择器,然后选择 “管理语言模型 ”(齿轮图标)。
你也可以打开 命令面板 ,运行 聊天:管理语言模型。
在 语言模型 编辑器中,选择 添加模型,然后选择 自定义端点。
输入一个团体名称。 该名称用于识别语言模型选择器和语言模型编辑器中的端点模型。
输入模型显示名和端点的API密钥。
对于 API 类型,请选择 Chat Completions。
在
chatLanguageModels.jsonVisual Studio Code 打开的文件中,配置模型属性,然后保存文件。使用端点和模型文档来设置属性。 至少,确认以下数值:
财产 价值 id端点所期望的确切模型 ID。 nameVisual Studio Code 在语言模型选择器中显示的模型显示名称。 url完整路径,例如 https://<server-name>:<port>/v1/chat/completions。apiTypechat-completionstoolCallingtrue仅当端点和模型支持工具调用时。visiontrue,前提是端点和模型支持图像输入。maxInputTokens该模型支持的最大输入标记数。 maxOutputTokens该模型支持的最大输出令牌数。 保留生成
apiKey的输入引用,而不是直接把 API 密钥放进chatLanguageModels.json。 Visual Studio Code 默认会在 Chat Completions 自定义端点的Authorization: Bearer <api-key>标头中发送该密钥。如果端点需要不同的认证头,则配置模型
requestHeaders属性,并使用${apiKey}令牌作为头值。 不要在配置文件里放置原始秘密。 有关支持的属性和认证行为,请参见自定义端点配置参考。
选择并验证令牌工厂模型
返回 聊天 视图,打开 语言模型选择器。
选择你配置的组名下的型号。
输入一个简短的测试提示,比如:
Reply with one sentence that confirms you received this request.确认 聊天 视图显示所选模型的回复。
如果你能访问推理端点日志,确认端点是否收到了配置型号ID的请求。
当所选模型返回响应且端点记录请求时,配置正常运行。
注意
模型必须支持工具调用,才能在聊天中供代理使用。 除非端点和模型支持该功能,否则不要将 toolCalling 设置为 true。
排查 Visual Studio Code 连接到 Windows Server 令牌工厂端点的问题
| 问题 | 需要检查的事项 |
|---|---|
| 自定义端点不可用 | 更新至当前稳定版的 Visual Studio Code。 如果您的组织管理 GitHub Copilot,请确认您的组织启用了自带密钥策略。 |
| 模型不会出现在模型选择器里 | 保存chatLanguageModels.json,然后重启 Visual Studio Code。 在 受限模式下的工作区中,信任工作区会恢复完整的模型列表。 对于代理使用场景,还要确认模型支持工具调用,并且 toolCalling 为 true。 |
| 端点返回认证错误 | 确认API密钥是当前的,且其认证头部符合端点要求。 如果端点需要另一个头部,就用${apiKey}令牌配置requestHeaders。 |
| 端点返回路由或API错误 | 确认 apiType 为 url,并且 /v1/chat/completions 包含完整的 Chat Completions 路由;当该端点公开该路由时,还应包括 chat-completions。 |
| 远程客户端无法连接到该端点 | 确认Windows 11客户端能否解析服务器主机名称并访问终端端口。 检查终端监听者地址、Windows防火墙以及任何中间的防火墙或代理。 |
| 远程端点返回TLS或证书错误 | 确认证书有效,Windows 11客户端信任它,并且终端URL覆盖了主机名。 |
| 端点拒绝远程客户端 | 确认端点访问控制允许客户端调用聊天完成路由,并且配置的凭证是否能访问所请求的模型。 |
| 请求到达端点但推理失败 | 确认模型ID与端点的模型ID完全匹配,且端点支持所请求的模型能力。 查看终端日志,查找请求失败的情况。 |