app开发者平台在数字化时代的重要性与发展趋势解析
536
2022-10-11
spark streaming 文件系统
package com.immooc.sparkimport org.apache.spark.SparkConfimport org.apache.spark.storage.StorageLevelimport org.apache.spark.streaming.{Seconds, StreamingContext}object FileWordCount { def main(args: Array[String]): Unit = { var sparkConf = new SparkConf().setMaster("local").setAppName("FileWordCount") val ssc = new StreamingContext(sparkConf, Seconds(5)) val lines = ssc.textFileStream("file:Users/walle/Documents/D2/testFile/") val result = lines.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _) result.print() ssc.start() ssc.awaitTermination() }}
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~