learning-spark-streaming

StructuredStreaming是一个可拓展，容错的，基于SparkSQL执行引擎的流处理引擎。使用小量的静态数据模拟流处理。伴随流数据的到来，SparkSQL引擎会逐渐连续处理数据并且更新结果到最终的Table中。你可以在SparkSQL上引擎上使用DataSet/DataFrameAPI处理流数据的聚集，事件窗口，和流与批次的连接操作等。最后StructuredStreaming系统快速，稳定，端到端的恰好一次保证，支持容错的处理。