Spark mllib FP Growth

Spark mllib FP Growth

1.1.1 基本概念 关联规则挖掘的一个典型例子是购物篮分析。关联规则研究有助于发现交易数据库中不同商品（项）之间的联系，找出顾客购买行为模式，如购买了某一商品对购买其他商品的影响，分析结果可以应用于商品货架布局、货存安排以及根据购买模式对用户进行分类。

关联规则的相关术语如下：

（1）项与项集

这是一个集合的概念，在一篮子商品中的一件消费品即为一项（Item），则若干项的集合为项集，如{啤酒，尿布}构成一个二元项集。

（2）关联规则

一般记为的形式，X为先决条件，Y为相应的关联结果，用于表示数据内隐含的关联性。如：表示购买了尿布的消费者往往也会购买啤酒。

关联性强度如何，由三个概念——支持度、置信度、提升度来控制和评价。

例：有10000个消费者购买了商品，其中购买尿布1000个，购买啤酒2000个，购买面包500个，同时购买尿布和面包800个，同时购买尿布和面包100个。

（3）支持度（Support）

支持度是指在所有项集中{X, Y}出现的可能性，即项集中同时含有X和Y的概率：

该指标作为建立强关联规则的第一个门槛，衡量了所考察关联规则在“量”上的多少。通过设定最小阈值（minsup），剔除“出镜率”较低的无意义规则，保留出现较为频繁的项集所隐含的规则。

设定最小阈值为5%，由于{尿布，啤酒}的支持度为800/10000=8%，满足基本输了要求，成为频繁项集，保留规则；而{尿布，面包}的支持度为100/10000=1%，被剔除。

package com.immooc.spark import org.apache.log4j.{Level, Logger} import org.apache.spark.mllib.fpm.FPGrowth import org.apache.spark.{SparkConf, SparkContext} object FPGrowthTest { def main(args:Array[String]): Unit = { val conf = new SparkConf().setAppName("DecisionTreeTest").setMaster("local[2]") val sc = new SparkContext(conf) Logger.getRootLogger.setLevel(Level.WARN) //1 读取样本数据 val data_path = "file:///Users/walle/Documents/D3/sparkmlib/sample_fpgrowth.txt" val data = sc.textFile(data_path) val examples = data.map(_.split(" ")).cache() //2 建立模型 val minSupport = 0.2 val numPartition = 10 val model = new FPGrowth(). setMinSupport(minSupport). setNumPartitions(numPartition). run(examples) //3 打印结果 println(s"Number of frequent itemsets: ${model.freqItemsets.count()}") model.freqItemsets.collect().foreach { itemset => println(itemset.items.mkString("[", ",", "]") + ", " + itemset.freq) } } }

Number of frequent itemsets: 54 [z], 5 [x], 4 [x,z], 3 [y], 3 [y,x], 3 [y,x,z], 3 [y,z], 3 [r], 3 [r,x], 2 [r,z], 2 [s], 3 [s,y], 2 [s,y,x], 2 [s,y,x,z], 2 [s,y,z], 2 [s,x], 3 [s,x,z], 2 [s,z], 2 [t], 3 [t,y], 3 [t,y,x], 3 [t,y,x,z], 3 [t,y,z], 3 [t,s], 2 [t,s,y], 2 [t,s,y,x], 2 [t,s,y,x,z], 2 [t,s,y,z], 2 [t,s,x], 2 [t,s,x,z], 2 [t,s,z], 2 [t,x], 3 [t,x,z], 3 [t,z], 3 [p], 2 [p,r], 2 [p,r,z], 2 [p,z], 2 [q], 2 [q,y], 2 [q,y,x], 2 [q,y,x,z], 2 [q,y,z], 2 [q,t], 2 [q,t,y], 2 [q,t,y,x], 2 [q,t,y,x,z], 2 [q,t,y,z], 2 [q,t,x], 2 [q,t,x,z], 2 [q,t,z], 2 [q,x], 2 [q,x,z], 2 [q,z], 2

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。