1. 首页
  2. 数据库
  3. 其它
  4. sparkStreaming结合kafka取存数据

sparkStreaming结合kafka取存数据

上传者: 2021-01-15 05:33:32上传 PDF文件 63.51KB 热度 17次
目录 一、说明 1、环境介绍 2、测试业务介绍 3、目的 二、理论基础 1、低效率的代码 2、这样提升效率和灵活性 (1)对KafkaProducer进行封装便于广播 (2)初始化KafkaSink,并广播 (3)使用广播变量发送数据到Kafka 三、完整业务程序展示 1、配置文件sparkStreaming.properties 2、动态加载配置文件LoadParameter类 3、主程序Kafka2SparkStreaming2Kafka 四、启动程序测试 1、创建相关kafka主题 2、kafka生产数据到程序 3、从写入到的kafka主题中读取数据 一、说明 1、环境介绍 spark:
下载地址
用户评论