川海智库

报告概述

本白皮书由云器科技发布，聚焦通用增量计算（Generic Incremental Compute，GIC）这一新计算模式。报告从分析批计算和流计算的本质出发，指出当前Lambda架构的局限，提出GIC作为统一流、批、交互三种计算模式的解决方案。内容覆盖GIC的设计目标、SPOT标准（标准SQL、高性能、开放格式、灵活平衡）、基于动态表和增量计算的核心原理，以及关键技术如声明式定义、动态表、增量任务调度。报告还通过咖啡销售场景和用户行为分析案例展示如何使用增量计算，并给出性能评估与适用场景。读者可借此理解如何以一套增量计算模型替代Lambda架构，实现更简单、高效、实时的数据平台。

报告的核心结论

通用增量计算可实现流批计算统一

报告提出GIC模型，以动态数据和增量计算为核心，将批处理的全量计算、流计算的增量处理以及交互式查询统一到单一计算框架中，从而消除Lambda架构的复杂性和数据冗余。

Kappa架构将在五年内替代Lambda成为主流

基于GIC的Kappa架构在数据新鲜度、成本和性能之间提供了灵活平衡点，克服了Lambda架构的“数据不可能三角”。报告认为，随着GIC技术成熟和落地验证，Kappa架构将逐步取代Lambda。

声明式SQL使增量计算对用户透明

用户只需用标准SQL定义业务逻辑，系统自动处理增量数据捕获、计算和调度，无需理解EventTime、Watermark等复杂概念，大幅降低了实时数据处理的技术门槛。

增量计算在典型场景下比传统流计算更节省资源

相比Apache Flink等流计算引擎，GIC通过Native向量化引擎、基于代价的优化以及避免大状态存储，在同样数据新鲜度下可显著降低计算资源消耗，尤其适合分钟级近实时场景。

报告回答的关键问题

什么是通用增量计算？

通用增量计算（GIC）是一种新计算模式，只计算数据变化的部分并与历史结果合并，从而快速获得最新查询结果。它统一了批处理、流计算和交互查询，用户只需用标准SQL定义业务逻辑，系统自动完成增量处理。

Kappa架构相比Lambda架构有什么优势？

Kappa架构通过单一引擎处理流批数据，避免了Lambda架构的架构复杂、数据冗余、一致性差等问题。基于通用增量计算的Kappa架构能在数据新鲜度、成本和性能之间灵活调整，实现更高效的实时数据平台。

如何用增量计算简化ETL开发？

通过动态表（Dynamic Table）定义查询逻辑，并设置刷新周期，系统自动消费上游数据变化并增量更新结果。例如，用CREATE DYNAMIC TABLE和REFRESH语句即可实现分钟级的日志与维表关联分析，无需手动编写流处理代码。

增量计算适用于哪些场景？

适用于数据分时分批到达、业务逻辑可用标准SQL表达、数据新鲜度要求分钟级/小时级且希望降低资源成本的场景。例如，互联网日志实时分析、用户行为精准营销等，不适用于需要复杂时间窗口或随机函数的场景。

完整报告包含什么

  • 流计算模型详解：包括无界数据、无序性、EventTime/SystemTime、Watermark、Window、Trigger等核心概念的提出背景与设计优劣，以及与批处理和增量计算的对比。
  • SPOT标准详细说明：GIC应满足的四个标准——标准统一SQL、显著性能提升、开放格式（如Iceberg+Parquet）、支持T+0到T+1的灵活平衡。
  • 动态表（Dynamic Table）与数据流（Table Stream）的完整语法和语义：包括创建、刷新周期设置、手动触发刷新，以及如何通过数据流输出CDC格式。
  • 增量计算框架的三大模块：如何获取变化数据（CDC、Delta）、如何处理变化数据（增量算子与算法详解，含过滤、Join、聚合等算子的增量逻辑）、增量任务调度（数据到达立即计算、周期性调度、依赖触发调度）。
  • 性能评估测试集与结果对比：基于4个典型场景，对比GIC与Apache Flink在不同刷新周期（10s/30s/2m/10m/1h/8h）下的资源消耗（core·s），并分析差异原因。
  • 影响增量计算性能的四大因素：查询复杂度、源表数据变化模式（Append-only vs Update/Delete）、数据变化频率和量、调度执行频率，以及基于代价的优化引擎如何动态优化执行计划。
  • 完整业务案例：一家互联网公司通过增量计算实现用户行为日志与维表的实时关联聚合，包含从Kafka实时拉取数据、MERGE INTO维表更新、LEFT JOIN建立动态表、按小时聚合分析的完整SQL代码。
  • 与其他产品的对比分析：包括Snowflake DynamicTable（2024年GA）、Databricks Delta Live Table、Apache Flink流批一体项目、Google TVR论文的贡献与不足，以及云器科技的优势。

本页内容由川海智库整理，用于帮助读者快速了解报告主题、核心观点和主要内容。由于报告量大、人工能力有限，部分观点、数据、统计口径或表述可能存在偏差，具体内容请以完整报告原文为准。

相关报告