流量 源码

流量 防弹数据流处理框架 KFlow是考虑到Kafka构建的Erlang数据流DSL。 使用Kflow实现的服务具有以下属性: 无状态。 可以随时重新启动服务,而不会丢失数据 容错和自我修复。 可以修复服务中的任何崩溃,一旦部署了该修复程序,该服务将自动重播导致崩溃的数据。 这可以进行无所畏惧的A / B测试和金丝雀部署 可扩展 自动并行化。 每个转换并行运行 自动背压。 这是通过KFlow行为中内置的相当复杂的偏移量跟踪逻辑来实现的,该逻辑可确保仅在完全处理输入消息时才将使用者偏移量提交给Kafka。 KFlow的另一个功能是“虚拟分区”,该功能允许将Kafka分区拆分为许多独立处理