1. 首页
  2. 大数据
  3. kafka
  4. Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤

Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤

上传者: 2019-06-04 12:42:13上传 DOCX文件 365.98KB 热度 46次
自己研究大数据多年,写的一个日志数据采集方案笔记,可快速熟悉Flume,Kafka,Hdfs的操作使用,以及相互的操作接口。
用户评论
码姐姐匿名网友 2019-06-04 12:42:13

这个的flume消费Kafka的offset没有维护啊

码姐姐匿名网友 2019-06-04 12:42:13

这个网上有教程步骤一样 你这里并没有多什么,另外就是晚上最不详细的就是 SPARK 写kafka 消费者并打包发送上去运行着一下测试步骤你没有

码姐姐匿名网友 2019-06-04 12:42:13

还好,参考下总没坏处

码姐姐匿名网友 2019-06-04 12:42:13

可以有参考价值

码姐姐匿名网友 2019-06-04 12:42:13

可能不需要spark吧

码姐姐匿名网友 2019-06-04 12:42:13

很详细,还在看