1. 首页
  2. 编程语言
  3. Java
  4. java自己手动控制kafka的offset操作

java自己手动控制kafka的offset操作

上传者: 2022-05-03 18:31:14上传 PDF文件 109.25 KB 热度 30次

之前使用kafka的KafkaStream,让每个消费者和对应的patition建立对应的流来读取kafka上面的数据,如果comsumer得到数据,那么kafka就会自动去维护该comsumer的offset,例如在获取到kafka的消息后正准备入库(未入库),但是消费者挂了,那么如果让kafka自动去维护offset,它就会认为这条数据已经被消费了,那么会造成数据丢失。

用户评论