SparkStreaming学习札记4 2020 2 15–SparkStreaming实时流处理项目实战

12-8 -通过定时调度工具每一分钟产生一批数据 1.在线工具 https://tool.lu/crontab/ crontab -e */1 * * * * /hadoop/data/project/log_generator.sh 如果要取消用#注释掉 2.对接python日志产生器输出的日志到Flume 定义名字为streaming_project.conf 选型:access.log ==>控制台输出 exec memory logger streaming_project.conf文件具体配置: