1. 首页
  2. 数据库
  3. 其它
  4. Spark Streaming实现WordCount

Spark Streaming实现WordCount

上传者: 2021-01-16 03:46:02上传 PDF文件 33.35KB 热度 13次
利用Spark Streaming实现WordCount 需求:监听某个端口上的网络数据,实时统计出现的不同单词个数。 1,需要安装一个nc工具:sudo yum install -y nc 2,执行指令:nc -lk 9999 -v import os #### 配置spark driver和pyspark运行时,所使用的python解释器路径 PYSPARK_PYTHON = # pyspark 路径 JAVA_HOME=' ' # java 路径 SPARK_HOME = # spark 路径 #### 当存在多个版本时,不指定很可能会导致出错 os.e
用户评论