1. 首页
  2. 编程语言
  3. Java
  4. Spark学习---统计文件单词出现次数

Spark学习---统计文件单词出现次数

上传者: 2019-05-25 13:57:45上传 ZIP文件 12.74KB 热度 60次
上一节我们简单介绍了RDD中转化和执行操作的用法,本节将通过一个具体的示例来加深对RDD的认识。一.需求统计本地文件中单词出现次数二.操作流程1.读取外部文件创建JavaRDD;2.通过flatMap转化操作切分字符串,获取单词新JavaRDD;3.通过mapToPair,以key为单词,value统一为1的键值JavaPairRDD;4.通过reduceByKey,累计叠加每个key,统计单词出现次数;三.代码实现四.下载代码
下载地址
用户评论