将本地 AI 与 Microsoft Foundry on Windows 配合使用

Microsoft Foundry on Windows汇集了 WindowsAI APIs、Foundry Local和Windows ML,以便为 Windows 应用添加本地 AI 功能。 早期文档将这一统称称为 Windows AI Foundry;它不是单独的运行时或 SDK。

Microsoft Foundry on Windows 为开发人员提供...

无论你是 AI 新手,还是经验丰富的机器学习(ML)专家,Microsoft Foundry on Windows都有一些适合你的东西。

显示构成Microsoft Foundry on Windows的各种组件图示(Windows AI APIs、Foundry Local和Windows ML)。

现成的 AI 模型和 API

应用可以在不到一小时内轻松使用以下本地 AI 模型和 API。 模型文件的分发和运行时由Microsoft处理,模型跨应用共享。 使用这些模型和 API 只需几行代码,无需具备零 ML 专业知识。

模型类型或 API 这是什么 选项和支持的设备
大型语言模型(LLM) 生成文本模型 Phi Silica 通过 AI APIs (支持微调)或 通过 Foundry Local 的 20 多个 OSS LLM 模型

请参阅 本地 LLM 了解详细信息。
图像说明 获取图像的自然语言文本说明 图像AI APIs说明(AI+ PC)
图像前景提取器 分割图像的前景 通过 AI APIs 进行图像前景提取(AI+ PC)
图像生成 从文本生成图像 通过AI APIs进行图像生成(AI+ PC)
图像对象擦除 擦除图像中的对象 通过AI APIs进行图像对象擦除(AI+ PC)
Image 对象提取器 对图像中的特定对象进行分段 通过AI APIs进行图像对象提取(AI+ PC)
图像超分辨率 提高图像分辨率 通过AI APIs实现图像超级分辨率(AI+ PC)
语义搜索 语义上搜索文本和图像 通过AI APIs进行应用内容搜索(AI+ PC)
语音识别 将语音转换为文本 通过 Whisper 或 Windows SDK 进行语音识别

有关详细信息,请参阅 语音识别 。
文本识别(OCR) 识别图像中的文本 通过AI APIs进行 OCR(AI+ PC)
视频超分辨率 (VSR) 提高视频分辨率 视频超级分辨率通过 AI APIs(NPU、GPU 或 CPU 支持取决于场景;仅在创建时进行一次选择,先选择设备,再确定质量)。 请参阅 设备选择和回退。

将其他模型与 Windows ML 配合使用

可以使用 Hugging Face 或其他来源的各种模型,甚至可以训练自己的模型,并在 Windows 10 及更高版本的 PC 上本地运行这些模型Windows ML(模型兼容性和性能因设备硬件而异)。

有关详细信息,请参阅 查找或训练模型以用于 Windows ML。

Windows ML 使用带有 CPU、GPU 和 NPU 执行提供程序的 ONNX Runtime。 它包括 CPU 和旧版 DirectML 提供程序,并且可以在兼容的设备上获取硬件供应商执行提供程序。 DirectML 是 GPU 执行选项,不是每个 Windows ML 工作负荷或 NPU API 的通用加速层。

CPU 和 DirectML GPU 执行支持Windows 应用 SDK支持策略中列出的Windows版本。 动态获取的硬件优化提供程序需要Windows 11版本 24H2(内部版本 26100)或更高版本,以及兼容的硬件和驱动程序。 请参阅Windows ML执行提供程序,了解提供程序和版本矩阵。

要从哪个选项开始

按照此决策树选择应用程序和方案的最佳方法:

  1. 检查内置WindowsAI APIs是否涵盖你的场景。 其中大多数 API 在 AI+ PC 上运行,有些 API(例如 Phi Silica (GPU)、语音识别和视频超级分辨率)也运行在其他硬件上;有关详细信息,请参阅受支持的硬件表。 这是以最少的开发工作量进入市场最快的途径。

  2. 如果 Windows AI APIs 没有所需内容,或者需要支持 Windows 10 及更高版本,请考虑使用 LLM 或语音转文本方案Foundry Local。

  3. 如果需要自定义模型,想要利用拥抱人脸或其他源中的现有模型,或者具有上述选项未涵盖的特定模型要求,Windows ML让你能够灵活地查找或训练自己的模型(并支持Windows 10及更高版本)。

你的应用还可以结合使用这三种技术。

适用于本地 AI 的技术

Microsoft Foundry on Windows中提供了以下技术:

  Windows AI APIs Foundry Local Windows ML
这是什么 适用于各种任务类型的现成 AI 模型和 API,最针对AI+ PC进行了优化,有些也支持其他 GPU 或 CPU 硬件 现成的 LLM 和语音转文本模型 ONNX Runtime 用于运行你找到或训练的模型的框架
支持的设备 对于大多数 API,AI+ PC;某些 API(例如 GPU 上的 Phi Silica、语音识别和视频超分辨率)也支持其他 Windows 11 PC——请参阅受支持的硬件表 Windows 10及更高版本的电脑及跨平台

(性能因可用硬件而异,并非所有型号均有售)
Windows 10 及更高版本的电脑,以及通过开源实现的跨平台功能

(性能因可用硬件而异)
可用的模型类型和 API LLM
图像说明
图像前景提取器
图像生成
图像对象擦除
Image 对象提取器
图像超分辨率
语义搜索
文本识别(OCR)
视频超分辨率
LLM (多个)
语音转文本

浏览 20 多个可用模型
查找或训练自己的模型
模型分发 由Microsoft托管,在运行时获取,并在应用之间共享 由Microsoft托管,在运行时获取,并在应用之间共享 由应用处理的分发(应用库可以 跨应用共享模型)
了解详细信息 AI APIs阅读文档 Foundry Local阅读文档 Windows ML阅读文档

Microsoft Foundry on Windows还包括开发人员工具,例如Foundry Toolkit for Visual Studio Code和AI 开发库,可帮助你成功构建 AI 功能。

Foundry Toolkit for Visual Studio Code 是一个 VS Code 扩展,可用于在本地下载和运行 AI 模型,包括访问硬件加速以提高性能和通过 DirectML 进行缩放。 Foundry Toolkit 还可以帮助你:

  • 使用 REST API 在直观的测试环境或应用程序中测试模型。
  • 微调 AI 模型(在本地或云中)以创建新技能,提高响应的可靠性,设置响应的基调和格式。
  • 微调流行的小型语言模型(SLM),如 Phi-3 和 Mistral。
  • 将 AI 功能部署到云或使用在设备上运行的应用程序。
  • 对于Windows应用中的自定义 ONNX 模型,请使用Windows ML并选择适合模型和设备的执行提供程序。 DirectML 提供旧版 GPU 路径;硬件厂商提供程序提供其他 GPU 和 NPU 加速路径。 请参阅 加速 AI 模型。
  • 使用模型转换功能量化和验证用于 NPU 的模型

利用本地 AI 的想法

Windows应用可以利用本地 AI 增强其功能和用户体验的几种方法包括:

  • 应用 可以使用生成 AI LLM 模型 来了解复杂主题,以汇总、重写、报告或展开。
  • 应用 可以使用 LLM 模型 将自由格式的内容转换为应用可以理解的结构化格式。
  • 应用 可以使用语义搜索模型 ,允许用户通过含义搜索内容并快速查找相关内容。
  • 应用可以使用自然语言处理模型来推理复杂的自然语言要求,并规划和执行作来完成用户的要求。
  • 应用可以使用图像作模型智能修改图像、擦除或添加主题、纵向扩展或生成新内容。
  • 应用可以使用预测诊断模型来帮助识别和预测问题,并帮助指导用户或为其执行此作。

使用云 AI 模型

如果使用本地 AI 功能并不是正确的路径, 那么使用云 AI 模型和资源 可能是一种解决方案。

使用负责任的 AI 做法

每当在 Windows 应用中采用 AI 功能时,我们强烈建议遵循 在 Windows 上开发负责任的生成式 AI 应用程序和功能的指南。