在 Windows Server 上部署令牌工厂

令牌工厂是一种人工智能(AI)模型服务系统,能够响应应用程序请求生成文本或代码。 当你在本地运行时,你可以评估AI辅助的应用场景,而无需向托管模型服务发送提示。

在本文中,你将使用 vLLM 在 Windows Server 2025 上部署Qwen/Qwen3-Coder-30B-A3B-Instruct,并验证最终的 OpenAI 兼容端点。 测试配置使用 Ubuntu 24.04 运行 适用于 Linux 的 Windows 子系统(WSL)2 和一块 NVIDIA RTX PRO 6000 显卡。 该过程创建了一个端点,供实验室和测试使用手动操作;它不配置生产访问、认证、远程网络或自动启动。

图示展示了一个应用在2025年Windows Server使用本地 Qwen3-Coder 端点,运行WSL 2、Ubuntu、vLLM和RTX PRO 6000显卡。

兼容 OpenAI 的 API 客户端向本地端点 127.0.0.1:8000 发送应用请求,并收到端点响应。 该端点在 Ubuntu 24.04 中运行带有 Qwen3-Coder 30B 的 vLLM,而 Ubuntu 24.04 运行在 Windows Server 2025 上的 WSL 2 中。 vLLM 将模型推理工作发送到一块 NVIDIA RTX PRO 6000 显卡。

Prerequisites

  • Windows Server 2025 和一个拥有管理员权限的账户。
  • 完成在 Windows Server 上安装 Linux 子系统。 将 Ubuntu 24.04 安装为 Ubuntu-24.04,并将其配置为使用 WSL 2。
  • 一台 NVIDIA RTX PRO 6000 Blackwell GPU,配备 96 GB GPU 内存。
  • 一个兼容CUDA 13.0的NVIDIA Windows驱动。 把驱动安装在Windows上,而不是WSL里。
  • 一个可以在Ubuntu中使用 sudo 的账户。
  • 从 Ubuntu 通过互联网访问此过程所使用的 Ubuntu、NVIDIA、Astral、PyTorch、vLLM 和 Hugging Face 资源。
  • 需要能够访问 Qwen/Qwen3-Coder-30B-A3B-InstructHugging Face 上的模型仓库、接受任何适用的许可条款,以及具备仓库托管方要求的任何凭证。 在启动 vLLM 之前,先在 Ubuntu 中完成任何必需的身份验证。 根据贵组织的秘密处理政策存储凭证。

Important

不要在WSL中安装Linux的NVIDIA内核驱动、显示驱动或驱动元包。 WSL使用Windows提供的NVIDIA驱动。

验证Windows Server主机

安装Linux组件前,先确认操作系统、WSL发行版和显卡。

  1. 在PowerShell中,确认Windows Server版本:

    Get-ComputerInfo -Property WindowsProductName, WindowsVersion, OsBuildNumber |
        Format-List
    

    确保 WindowsProductName 显示为 Windows Server 2025。

  2. 确认 Ubuntu-24.04 使用 WSL 2:

    wsl --list --verbose
    

    Ubuntu-24.04条目必须显示版本2。

  3. 显示已安装的显卡、显卡内存和Windows驱动版本:

    nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv
    

    确保输出显示一块 NVIDIA RTX PRO 6000 GPU,内存约 96 GB。 报告的内存可能与名义容量略有不同。

  4. 打开Ubuntu发行版。

    wsl --distribution Ubuntu-24.04
    
  5. 在Ubuntu中,确认发行版版本,验证 sudo 访问权限,并检查可用存储:

    grep PRETTY_NAME /etc/os-release
    sudo -v
    df -h "$HOME"
    

    确保操作系统是Ubuntu 24.04。 检查 home 文件系统的可用空间。

除非步骤中指定PowerShell,否则在Ubuntu里运行剩余的安装和服务命令。

安装CUDA 13.0和vLLM

该设置安装了CUDA 13.0、Python 3.12、vLLM 0.30.0和Transformers 5.15.0。 对于每个设置任务,对于较小的命令组选择“ 引导设置 ”,对于压缩命令块选择“ 快速设置 ”。

安装CUDA 13.0

  1. 更新Ubuntu包索引并安装配置NVIDIA包仓库的工具:

    sudo apt-get update
    sudo apt-get install -y --no-install-recommends curl ca-certificates
    
  2. 下载并安装 NVIDIA CUDA 仓库密钥环。

    curl -fSL \
        https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb \
        -o /tmp/cuda-keyring.deb
    sudo dpkg -i /tmp/cuda-keyring.deb
    sudo apt-get update
    
  3. 安装CUDA 13.0工具包组件:

    sudo apt-get install -y --no-install-recommends \
        cuda-nvcc-13-0 cuda-cccl-13-0 cuda-cudart-dev-13-0 cuda-crt-13-0 \
        cuda-nvrtc-dev-13-0 cuda-driver-dev-13-0 libcublas-dev-13-0 \
        libcurand-dev-13-0
    

    该 cuda-driver-dev-13-0 软件包提供开发文件。 它不会安装Linux显示驱动。

  4. 为当前 shell 设置 CUDA 环境变量并验证编译器。

    export CUDA_HOME=/usr/local/cuda-13.0
    export PATH="$CUDA_HOME/bin:/usr/lib/wsl/lib:$PATH"
    nvcc --version
    

    确认输出显示为 CUDA 13.0。

安装 Python 和 vLLM

  1. 安装 Python 环境和 vLLM 所需的 Linux 包:

    sudo apt-get install -y --no-install-recommends \
        build-essential python3.12-dev python3.12-venv \
        libnuma1 libtcmalloc-minimal4
    
  2. 下载 uv 安装脚本:

    curl -fSL https://astral.sh/uv/install.sh -o /tmp/install-uv.sh
    
  3. 根据贵组织的软件安装政策进行审查 /tmp/install-uv.sh 。

  4. 审核安装程序后,运行它,添加uv到 PATH,并创建并激活 Python 3.12 环境:

    sh /tmp/install-uv.sh
    export PATH="$HOME/.local/bin:$PATH"
    uv venv --python 3.12 --python-preference only-system "$HOME/vllm-env"
    source "$HOME/vllm-env/bin/activate"
    
  5. 从CUDA 13.0软件包索引中安装以下vLLM和Transformer版本:

    uv pip install --python "$VIRTUAL_ENV/bin/python" \
        vllm==0.30.0 transformers==5.15.0 \
        --extra-index-url https://wheels.vllm.ai/0.30.0/cu130 \
        --extra-index-url https://download.pytorch.org/whl/cu130 \
        --index-strategy unsafe-first-match
    

    如果命令未出错,则表示安装成功。

配置并启动模型服务器

在前台启动 vLLM 以监控其状态和输出。

  1. 在Ubuntu壳层中,激活 vllm-env后,设置一个永久存放下载模型文件的位置:

    export HF_HOME="$HOME/hf-cache"
    
  2. 启动端点。

    vllm serve Qwen/Qwen3-Coder-30B-A3B-Instruct \
        --host 127.0.0.1 \
        --port 8000 \
        --max-model-len 32768
    
  3. 保持终端开启,直到vLLM报告服务器准备就绪。

第一次启动时会将模型文件下载到 HF_HOME 并加载模型。 该端点使用一块GPU,并将输入和输出上下文的总数限制为32,768个令牌。 这一限制使GPU内存可用来满足运行时开销和键值缓存的需求。

Important

这个端点不使用身份验证。 将其绑定到 127.0.0.1 可限制网络暴露,但这并不是身份验证边界。 能够到达WSL环回端点的进程可以发送请求。 此配置仅在可信且访问受控的主机上使用。 没有经过批准的身份验证、TLS、防火墙和访问控制保护,不要将端点暴露在网络中。

模型服务参数与设置

Parameters 违约 何时使用它们
--tensor-parallel-size 1 默认值为 1。 用它来明确记录单GPU服务部署。
--port 8000 默认端口是8000。 选择不同端口时使用它,并更新所有客户端网址。
--enable-auto-tool-choice 默认已禁用。 启用为兼容的代理应用自动选择工具。
--tool-call-parser qwen3_coder 默认情况下不设置。 选择 Qwen3-Coder 工具调用解析器用于自动工具选择。

验证模型服务器

使用PowerShell列出该端点所服务的模型,然后验证所选的Qwen模型是否能生成响应。

  1. 保持运行 vLLM 的 Ubuntu 终端开启。

  2. 打开第二个PowerShell窗口,设置端点URL:

    $inferenceBaseUrl = 'http://127.0.0.1:8000'
    
  3. 列出该端点所服务的模型:

    $models = Invoke-RestMethod `
        -Uri "$inferenceBaseUrl/v1/models" `
        -TimeoutSec 30 `
        -ErrorAction Stop
    $models.data | Select-Object id
    

    确认输出包含 Qwen/Qwen3-Coder-30B-A3B-Instruct。

  4. 创建聊天完成请求:

    $body = @{
        model = 'Qwen/Qwen3-Coder-30B-A3B-Instruct'
        messages = @(
            @{
                role = 'user'
                content = 'When is the last sunset in the Nordic region. Give a short answer.'
            }
        )
        max_tokens = 32
    } | ConvertTo-Json -Depth 5
    
  5. 发送请求并展示生成内容:

    $response = Invoke-RestMethod `
        -Uri "$inferenceBaseUrl/v1/chat/completions" `
        -Method Post `
        -ContentType 'application/json' `
        -Body $body `
        -TimeoutSec 120 `
        -ErrorAction Stop
    
    $response.choices[0].message.content
    

    确认生成的回复是非空的且与提示相关。 模型生成,而非对响应的事实验证,是端到端的测试。