sparkStreaming结合kafka取存数据
目录 一、说明 1、环境介绍 2、测试业务介绍 3、目的 二、理论基础 1、低效率的代码 2、这样提升效率和灵活性 (1)对KafkaProducer进行封装便于广播 (2)初始化KafkaSink,并广播 (3)使用广播变量发送数据到Kafka 三、完整业务程序展示 1、配置文件sparkStreaming.properties 2、动态加载配置文件LoadParameter类 3、主程序Kafka2SparkStreaming2Kafka 四、启动程序测试 1、创建相关kafka主题 2、kafka生产数据到程序 3、从写入到的kafka主题中读取数据 一、说明 1、环境介绍 spark:
下载地址
用户评论