1. 首页
  2. 大数据
  3. kafka
  4. kafka+flume+kafka中问题.pdf

kafka+flume+kafka中问题.pdf

上传者: 2020-06-21 13:03:09上传 PDF文件 295.71KB 热度 20次
flume从kafka读取数据,然后再sink到kafka中, 这种场景下会出现问题。 (1)现象表示为: flume从kafka读取数据,sink的sinkTopic中没有数据,也无法从sinkTopic中读取数据; (2)原因分析: 如果在一个FlumeAgent中同时使用KafkaSource和KafkaSink来处理events,便会遇到KafkaTopic覆盖问题,具体 表现为,KafkaSource可以正常从指定的Topic中读取数据,但在KafkaSink中配置的目标Topic不起作用,数据仍然 会被写入到Source中指定的Topic中。
用户评论