令牌工厂是一种人工智能(AI)模型服务系统,能够响应应用程序请求生成文本或代码。 当你在本地运行时,你可以评估AI辅助的应用场景,而无需向托管模型服务发送提示。
在本文中,你将使用 vLLM 在 Windows Server 2025 上部署Qwen/Qwen3-Coder-30B-A3B-Instruct,并验证最终的 OpenAI 兼容端点。 测试配置使用 Ubuntu 24.04 运行 适用于 Linux 的 Windows 子系统(WSL)2 和一块 NVIDIA RTX PRO 6000 显卡。 该过程创建了一个端点,供实验室和测试使用手动操作;它不配置生产访问、认证、远程网络或自动启动。
兼容 OpenAI 的 API 客户端向本地端点 127.0.0.1:8000 发送应用请求,并收到端点响应。 该端点在 Ubuntu 24.04 中运行带有 Qwen3-Coder 30B 的 vLLM,而 Ubuntu 24.04 运行在 Windows Server 2025 上的 WSL 2 中。 vLLM 将模型推理工作发送到一块 NVIDIA RTX PRO 6000 显卡。
Prerequisites
- Windows Server 2025 和一个拥有管理员权限的账户。
- 完成在 Windows Server 上安装 Linux 子系统。 将 Ubuntu 24.04 安装为
Ubuntu-24.04,并将其配置为使用 WSL 2。 - 一台 NVIDIA RTX PRO 6000 Blackwell GPU,配备 96 GB GPU 内存。
- 一个兼容CUDA 13.0的NVIDIA Windows驱动。 把驱动安装在Windows上,而不是WSL里。
- 一个可以在Ubuntu中使用
sudo的账户。 - 从 Ubuntu 通过互联网访问此过程所使用的 Ubuntu、NVIDIA、Astral、PyTorch、vLLM 和 Hugging Face 资源。
-
需要能够访问
Qwen/Qwen3-Coder-30B-A3B-InstructHugging Face 上的模型仓库、接受任何适用的许可条款,以及具备仓库托管方要求的任何凭证。 在启动 vLLM 之前,先在 Ubuntu 中完成任何必需的身份验证。 根据贵组织的秘密处理政策存储凭证。
Important
不要在WSL中安装Linux的NVIDIA内核驱动、显示驱动或驱动元包。 WSL使用Windows提供的NVIDIA驱动。
验证Windows Server主机
安装Linux组件前,先确认操作系统、WSL发行版和显卡。
在PowerShell中,确认Windows Server版本:
Get-ComputerInfo -Property WindowsProductName, WindowsVersion, OsBuildNumber | Format-List确保
WindowsProductName显示为 Windows Server 2025。确认
Ubuntu-24.04使用 WSL 2:wsl --list --verboseUbuntu-24.04条目必须显示版本2。显示已安装的显卡、显卡内存和Windows驱动版本:
nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv确保输出显示一块 NVIDIA RTX PRO 6000 GPU,内存约 96 GB。 报告的内存可能与名义容量略有不同。
打开Ubuntu发行版。
wsl --distribution Ubuntu-24.04在Ubuntu中,确认发行版版本,验证
sudo访问权限,并检查可用存储:grep PRETTY_NAME /etc/os-release sudo -v df -h "$HOME"确保操作系统是Ubuntu 24.04。 检查 home 文件系统的可用空间。
除非步骤中指定PowerShell,否则在Ubuntu里运行剩余的安装和服务命令。
安装CUDA 13.0和vLLM
该设置安装了CUDA 13.0、Python 3.12、vLLM 0.30.0和Transformers 5.15.0。 对于每个设置任务,对于较小的命令组选择“ 引导设置 ”,对于压缩命令块选择“ 快速设置 ”。
安装CUDA 13.0
更新Ubuntu包索引并安装配置NVIDIA包仓库的工具:
sudo apt-get update sudo apt-get install -y --no-install-recommends curl ca-certificates下载并安装 NVIDIA CUDA 仓库密钥环。
curl -fSL \ https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb \ -o /tmp/cuda-keyring.deb sudo dpkg -i /tmp/cuda-keyring.deb sudo apt-get update安装CUDA 13.0工具包组件:
sudo apt-get install -y --no-install-recommends \ cuda-nvcc-13-0 cuda-cccl-13-0 cuda-cudart-dev-13-0 cuda-crt-13-0 \ cuda-nvrtc-dev-13-0 cuda-driver-dev-13-0 libcublas-dev-13-0 \ libcurand-dev-13-0该
cuda-driver-dev-13-0软件包提供开发文件。 它不会安装Linux显示驱动。为当前 shell 设置 CUDA 环境变量并验证编译器。
export CUDA_HOME=/usr/local/cuda-13.0 export PATH="$CUDA_HOME/bin:/usr/lib/wsl/lib:$PATH" nvcc --version确认输出显示为 CUDA 13.0。
安装 Python 和 vLLM
安装 Python 环境和 vLLM 所需的 Linux 包:
sudo apt-get install -y --no-install-recommends \ build-essential python3.12-dev python3.12-venv \ libnuma1 libtcmalloc-minimal4下载
uv安装脚本:curl -fSL https://astral.sh/uv/install.sh -o /tmp/install-uv.sh根据贵组织的软件安装政策进行审查
/tmp/install-uv.sh。审核安装程序后,运行它,添加
uv到PATH,并创建并激活 Python 3.12 环境:sh /tmp/install-uv.sh export PATH="$HOME/.local/bin:$PATH" uv venv --python 3.12 --python-preference only-system "$HOME/vllm-env" source "$HOME/vllm-env/bin/activate"从CUDA 13.0软件包索引中安装以下vLLM和Transformer版本:
uv pip install --python "$VIRTUAL_ENV/bin/python" \ vllm==0.30.0 transformers==5.15.0 \ --extra-index-url https://wheels.vllm.ai/0.30.0/cu130 \ --extra-index-url https://download.pytorch.org/whl/cu130 \ --index-strategy unsafe-first-match如果命令未出错,则表示安装成功。
配置并启动模型服务器
在前台启动 vLLM 以监控其状态和输出。
在Ubuntu壳层中,激活
vllm-env后,设置一个永久存放下载模型文件的位置:export HF_HOME="$HOME/hf-cache"启动端点。
vllm serve Qwen/Qwen3-Coder-30B-A3B-Instruct \ --host 127.0.0.1 \ --port 8000 \ --max-model-len 32768保持终端开启,直到vLLM报告服务器准备就绪。
第一次启动时会将模型文件下载到 HF_HOME 并加载模型。 该端点使用一块GPU,并将输入和输出上下文的总数限制为32,768个令牌。 这一限制使GPU内存可用来满足运行时开销和键值缓存的需求。
Important
这个端点不使用身份验证。 将其绑定到 127.0.0.1 可限制网络暴露,但这并不是身份验证边界。 能够到达WSL环回端点的进程可以发送请求。 此配置仅在可信且访问受控的主机上使用。 没有经过批准的身份验证、TLS、防火墙和访问控制保护,不要将端点暴露在网络中。
模型服务参数与设置
| Parameters | 违约 | 何时使用它们 |
|---|---|---|
--tensor-parallel-size 1 |
默认值为 1。 | 用它来明确记录单GPU服务部署。 |
--port 8000 |
默认端口是8000。 | 选择不同端口时使用它,并更新所有客户端网址。 |
--enable-auto-tool-choice |
默认已禁用。 | 启用为兼容的代理应用自动选择工具。 |
--tool-call-parser qwen3_coder |
默认情况下不设置。 | 选择 Qwen3-Coder 工具调用解析器用于自动工具选择。 |
验证模型服务器
使用PowerShell列出该端点所服务的模型,然后验证所选的Qwen模型是否能生成响应。
保持运行 vLLM 的 Ubuntu 终端开启。
打开第二个PowerShell窗口,设置端点URL:
$inferenceBaseUrl = 'http://127.0.0.1:8000'列出该端点所服务的模型:
$models = Invoke-RestMethod ` -Uri "$inferenceBaseUrl/v1/models" ` -TimeoutSec 30 ` -ErrorAction Stop $models.data | Select-Object id确认输出包含
Qwen/Qwen3-Coder-30B-A3B-Instruct。创建聊天完成请求:
$body = @{ model = 'Qwen/Qwen3-Coder-30B-A3B-Instruct' messages = @( @{ role = 'user' content = 'When is the last sunset in the Nordic region. Give a short answer.' } ) max_tokens = 32 } | ConvertTo-Json -Depth 5发送请求并展示生成内容:
$response = Invoke-RestMethod ` -Uri "$inferenceBaseUrl/v1/chat/completions" ` -Method Post ` -ContentType 'application/json' ` -Body $body ` -TimeoutSec 120 ` -ErrorAction Stop $response.choices[0].message.content确认生成的回复是非空的且与提示相关。 模型生成,而非对响应的事实验证,是端到端的测试。