PySpark算子处理空间数据全解析（14）外篇：经纬度数据利用Uber H3进行聚合统计...

PySpark算子处理空间数据全解析（14）外篇：经纬度数据利用Uber H3进行聚合统计...

以前曾经写过一篇Uber H3算法相关的文章，大家有兴趣可以翻一下：

顺着上一篇文章既然说了GeoHash，那么今天也顺便说说在PySpark里面怎么用H3做一下六边形聚合统计。实际上看过上一篇文章的同学不用我说大家也都知道怎么做了……无非就是选择一个聚合的尺度，然后做Map，在做reduceByKey嘛……

实际上，如果你仅仅是要来做一下蜂窝格网密度的可视化，数据量少的情况下，根本不用PySpark什么的，在Python的matplotlib包里面，直接有hexbin，可以直接进行蜂窝密度分析，如下所示：

如果就从可视化角度来看，基本上也就够用了，而且关键是matplotlib这个包，从2.x重新构建之后，效率还挺高，比如我做了个1000万个点的聚合测试：

在我的机器上，只需要7秒多就完成了聚合和绘制了，极其厉害。

但是可视化仅仅是数据分析最初始的手段，很多时候，不但要能够可视化出来，还需要有后续的分析，比如做空间聚类或者做深度或者广度的钻取。

下面我们通过PySpark + H3 来实现全球地震分析，进行分源分区的统计：

统计完之后，还可以用matplotlib可视化一下看看效果：

可以看出，整个分析计算的方式，与geohash基本一致，而且保留下来之后，你还可以把数据写成Shapefile，就可以进行更进一步的做空间分析了，写数据为shapefile相关内容，可以看看ArcGIS或者GDAL的相关接口，不是这里的内容，所以这里不做多说。

Github:

​​https://github.com/allenlu2008/PySparkDemo​​

gitee：

​​https://gitee.com/godxia/PySparkDemo​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。