基础爬虫小案例：约会吧小姐姐照片，联系方式随手可得（附源码）

基础爬虫小案例：约会吧小姐姐照片，联系方式随手可得（附源码）

前言

百度贴吧是以兴趣主题聚合志同道合者的互动平台，同好网友聚集在这里交流话题、展示自我、结交朋友。贴吧中有的帖子当中有用户上传的图片，今天跟着老师把约会吧全吧的图片给爬取下来吧

预先清理磁盘哦~~

本文亮点：

1、分析页面（静态or动态）

2、两层数据解析

3、海量图片数据保存

环境介绍：

python 3.6

pycharm

requests

parsel（xpath）

爬虫的一般思路

1、确定爬取的url路径，headers参数

2、发送请求 -- requests 模拟浏览器发送请求，获取响应数据

3、解析数据 -- parsel 转化为Selector对象，Selector对象具有xpath的方法，能够对转化的数据进行处理

4、保存数据

开始我们的案例吧

步骤

1、导入工具

import requests

import parsel

2、确定爬取的url路径，headers参数

base_url = 'https://tieba.baidu.com/f?ie=utf-8&kw=%E7%BE%8E%E5%A5%B3&fr=search'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'}

3、发送请求 -- requests 模拟浏览器发送请求，获取响应数据

response = requests.get(base_url, headers=headers)

html_str = response.text

# print(html_data)

4、解析数据 -- parsel 转化为Selector对象，Selector对象具有xpath的方法，能够对转化的数据进行处理

5、保存图片数据

with open("img\\" + file_name, 'wb') as f:

print('正在-图片：',file_name)

f.write(img_data)

运行代码，结果如下图：

这样我们这一次的爬虫就算圆满成功了

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。