app开发者平台在数字化时代的重要性与发展趋势解析
1990
2022-08-18
利用Python爬二手车官网数据做可视化分析(二手车数据爬取及分析)
最近几年,“二手经济”逐渐火热,二手车市场也在快速扩大。
相同的车型,二手车比新车要实惠许多,比如下图中的奔驰GLC级,二手车能比新车便宜5-20万不等。因此有越来越多的人在购置车辆时将二手车纳入了考量。
但众所周知,二手市场的水也比较深,一不小心就容易缴“智商税”,所以在购买二手车前,对市场有一定的了解是必不可少的。
今天我给大家带来了一个某二手车网站的实战项目,用Python来分析二手车市场行情。
一、明确需求
1、爬取某二手车网站奔驰GLC级轿车的信息(标题、购车年份、里程数、价格)
2、利用年限和行驶里程,分析二手车保价率信息
二、爬取数据
本例中我们将用selenium库来爬取数据。Selenium不同于其他的爬虫库,可以直接操纵浏览器,就像真正的用户在操作一样,安全性极高,不用担心被服务器屏蔽。
首先,利用xpath helper得到我们需要的内容的xpath表达式
xpath表达式中,我们只要更改其中“li[1]”中的数字,就能让程序将整页的数据都爬取下来,一页有40条数据,所以我们只要写一条1-40的循环即可。
分析出这些信息后,我们就可以着手写代码了。
车辆的购车年份、里程数、价格也可以通过同样的方式获取。
三、数据清洗
什么是数据清洗?数据清洗是一个对数据进行重新审查和校验的过程,目的在于删除重复信息、纠正存在的错误,并提供数据一致性。
比如在我们这个例子中,我们发现爬取下来的年份里有个“年”字,里程数后有“万公里”的字样,我们在进行数据分析的时候是不需要这些文本的,因此我们需要在数据清洗中将这些多余的汉字给“清洗”掉。
最后,我们将获取的数据以表格的形式输出,就得到了一份二手车数据的表格,可以开始我们的数据分析了!
怎么样,数据清洗是不是很简单?
四、数据可视化
得到了数据,我们就可以通过直观的方式对数据进行分析,从中发现数据的趋势、特征。
如图,左图的点阵图可以很明显地看到,购买年份越早的车,价格会聚集在更低的区间;而右图我们可以看到,里程数与价格呈负相关。
这样,我们就完成了一个数据分析的完整流程,数据爬取→数据清洗→数据分析→可视化输出→得出结论。
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~