spark streaming 文件系统

网友投稿 536 2022-10-11

spark streaming 文件系统

spark streaming 文件系统

package com.immooc.sparkimport org.apache.spark.SparkConfimport org.apache.spark.storage.StorageLevelimport org.apache.spark.streaming.{Seconds, StreamingContext}object FileWordCount { def main(args: Array[String]): Unit = { var sparkConf = new SparkConf().setMaster("local").setAppName("FileWordCount") val ssc = new StreamingContext(sparkConf, Seconds(5)) val lines = ssc.textFileStream("file:Users/walle/Documents/D2/testFile/") val result = lines.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _) result.print() ssc.start() ssc.awaitTermination() }}

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:flume 环境部署
下一篇:模仿axios实现自定义网络请求拦截器,支持微信小程序拦截,ajax拦截,支付宝小程序等
相关文章

 发表评论

暂时没有评论,来抢沙发吧~