rvest爬取链家网数据

rvest爬取链家网数据

一、工具说明

火狐浏览器fireBug插件R软件revest包、stringr包

二、数据说明

想要获取链家网南京楼盘的信息，如：楼盘名称、地址、面积、是否在售、住宅性质、价格。最后在R里生成数据框

三、代码

Part1:加载包，rvest用于爬取数据、stringr处理字符串

# 加载包 ------------------------------------------#加载rvest，没有则先安装后加载tryCatch({ library(rvest)}, error = function(e) { print("No This Package")},finally = { install.packages("rvest") library(rvest)})library(stringr)

Part2:读取网页，求页数

想要获取该信息页数，如下图所示：

使用Firebug插件，很容易定位元素。

# 读取网页，求页数 ----------------------------------------------------------------url <- '<- read_html(url)#html_attr("page-data") 是从html_nodes('div.page-box')筛选出的标签中，查找page-data属性的值page <- web %>% html_nodes('div.page-box') %>% html_attr("page-data")page_num <- str_extract(page, '[0-9]+')#取出字符串里面的数字，+表示可以是多位的

Part3:循环读取每页上所需要的信息

# 循环读取每页上所需要的信息---------------------------#所需列name = area = price = type = address = status = NULLfor (i in 1:page_num) { #楼盘名称 name <- c(name, web %>% html_nodes('div.info-panel') %>% html_nodes('a') %>% html_text()) #地址 address <- c( address, web %>% html_nodes('div.info-panel') %>% html_nodes('div.where') %>% html_nodes('span.region') %>% html_text() ) #面积 area_ass <- web %>% html_nodes('div.info-panel') %>% html_nodes('div.area') %>% html_nodes('span') %>% html_text() area = c(area, str_extract(area_ass, '[0-9]+~[0-9]+|[0-9]+'))#找到形如11~12或者数字的字符串 price_ass <- web %>% html_nodes('div.info-panel') %>% html_nodes('div.average') %>% html_nodes('span') %>% html_text() price = c(price, as.numeric(price_ass)) #房屋性质 type <- c( type, web %>% html_nodes('div.info-panel') %>% html_nodes('div.type') %>% html_nodes('span.live') %>% html_text() ) #是否在售 status <- c( status, web %>% html_nodes('div.info-panel') %>% html_nodes('div.type') %>% html_nodes('span.onsold') %>% html_text() ) house_data <- data.frame( name = name, area = area, price = price, type = type, address = address, status = status, stringsAsFactors = F ) }# Ending############################ --------------------------------------

四、结果

五、Ref

​​[1] 链家网地址​​​ ​​​[2] 快速定位元素：​​​[3] 《rvest + CSS Selector 网页数据抓取的最佳选择 》​​​ ​​​[4] 语言爬虫初尝试-基于RVEST包学习 ​​​ ​​​[5] 标签含义速查网站​​​ ​​​[6] R语言学习：使用rvest包抓取网页数据​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。