了解事件处理

已完成

Tip

有关更多详细信息,请参阅 “文本和图像 ”选项卡!

Azure 流分析是一种用于复杂事件处理和流数据分析的服务。 流分析用于:

  • 从输入(如 Azure 事件中心、Azure IoT 中心或 Azure 存储 blob 容器)引入数据。
  • 通过使用查询选择、投影和聚合数据值来处理数据。
  • 将结果写入 输出,例如 Azure Data Lake Storage Gen2、Azure SQL 数据库、Azure Cosmos DB、Azure Functions、Azure 事件中心、Microsoft Power BI 等。

显示包含输入、查询和输出的流分析作业的关系图。

启动后,流分析查询将永久运行,在数据到达输入时处理新数据,并将结果存储在输出中。

流分析 保证恰好一次 事件处理和 至少一次 事件传递,因此事件永远不会丢失。 使用所选输出时,可保证恰好一次处理。 有关详细信息,请参阅 事件传递保证。 如果事件传送失败,流分析具有内置恢复功能。 此外,流分析还提供内置检查点来维护作业的状态并生成可重复的结果。 由于Azure 流分析是平台即服务(PaaS)解决方案,因此完全托管。 其内置与各种源和目标的集成提供了灵活的可编程性模型。 流分析引擎支持内存中计算,因此可提供高性能。

Azure 流分析作业和群集

使用Azure 流分析的最简单方法是在Azure订阅中创建流分析作业、配置其输入和输出(s),并定义作业用于处理数据的查询。 查询使用结构化查询语言 (SQL) 语法来表示,并且可以合并来自多个数据源的静态参考数据,以提供可与从输入中引入的流数据结合的查找值。

如果流处理要求复杂或资源密集型,则可以创建一个流分析集群,该集群使用与流分析作业相同的基础处理引擎,但在单租户部署中(因此处理不受其他客户影响),并且具有可配置的可伸缩性,使你可以为特定方案定义吞吐量和成本之间的适当平衡。 有关详细信息,请参阅Azure 流分析群集概述。

输入

Azure 流分析可以从以下类型的输入引入数据:

  • Azure 事件中心
  • Azure IoT 中心
  • Azure Blob 存储服务
  • Azure Data Lake Storage Gen2
  • Apache Kafka

输入通常用于引用流式处理数据源,该数据源在添加新事件记录时进行处理。 此外,还可以定义用于引入静态数据的 引用 输入,以增强实时事件流数据。 例如,可以引入包含每个气象站的唯一 ID 的实时天气观测数据流,并使用与气象站 ID 匹配的静态引用输入来扩充该数据,使其名称更有意义。

输出

输出是将流处理结果发送到的目标。 Azure 流分析支持各种输出接收器,可用于:

  • 保存结果以供进一步分析;例如,通过写入 Azure Data Lake Storage Gen2、Azure SQL 数据库或 Azure Cosmos DB。
  • 大规模分析日志和遥测数据;例如,通过将结果发送到 Azure 数据资源管理器。
  • 显示数据流的实时可视化效果;例如,将数据追加到 Microsoft Power BI 中的数据集。
  • 为下游处理生成筛选或汇总的事件;例如,通过将结果写入 Azure 事件中心。

查询

流处理逻辑封装在查询中。 查询是使用从一个或多个输入中选择数据字段的 SQL 语句定义的,筛选或聚合数据,并将结果写入输出。 例如,以下查询从 天气事件 输入中过滤出事件,仅包含 温度 值小于 0 的数据,并将结果写入 cold-temps 输出。

SELECT observation_time, weather_station, temperature
INTO cold-temps
FROM weather-events TIMESTAMP BY observation_time
WHERE temperature < 0

会自动创建名为 EventProcessedUtcTime 的字段,以定义 Azure 流分析查询处理事件的时间。 默认情况下,Stream Analytics 使用事件到达输入时的时间作为其时间戳,或者可以使用 TIMESTAMP BY 子句显式指定另一个 DateTime 字段,如此示例所示。 根据从中读取流数据的输入,可以自动创建一个或多个潜在的时间戳字段:例如,使用 Event Hubs 输入时,将生成名为 EventEnqueuedUtcTime 的字段,以记录 Event Hubs 收到事件的时间。

在通过时态窗口聚合数据时,用作时间戳的字段非常重要,接下来将对此进行讨论。

无代码编辑器

如果想要在不编写 SQL 的情况下生成流处理作业,Azure 流分析将包含无代码编辑器。 可以从Azure 流分析门户(预览版)或Azure 事件中心门户访问它。 无代码编辑器提供拖放画布,可在其中连接输入源、添加转换(包括滚动窗口、跳跃窗口和会话窗口等时间窗口聚合),以及配置输出,而无需编写任何代码。 有关详细信息,请参阅 Azure 流分析 中的 No-code 流处理。