Spark pipe PHP 实例

Spark pipe PHP 实例

package testimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextobject PipeTest def main(args: Array[String]) { val sparkConf = new SparkConf().setAppName("pipe Test") val sc = new SparkContext(sparkConf) val a = sc.parallelize(1 to 9 , 3) val result = a.pipe("php /home/gt/spark/bin/test.php").collect()//所以这里决定每台机子都装好php result.foreach { x => println("!!!!!"+x) } sc.stop() }}

输出： !!!!!6 Hello world! !!!!!15 Hello world! !!!!!24 Hello world!

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。