第一讲：最能入门的爬虫教程（Python实现）爬虫——爬取贵阳房价（Python实现）计算机系统及编程语言（底层思维）

第一讲：最能入门的爬虫教程（Python实现）爬虫——爬取贵阳房价（Python实现）计算机系统及编程语言（底层思维）

目录

​​1 兴趣引入​​

​​2 基本原理​​

​​2.1 浏览器⼯作原理​​

​​2.2 爬⾍⼯作原理 ​​

​​3 爬虫步骤 ​​

​​3.1 requests.get()​​

​​3.1.1 安装 requests 库​​

​​3.1.2 requests 库作⽤​​

​​3.1.3 requests 库使⽤  ​​

​​3.2 Response对象的常⽤属性​​

​​3.2.1 response.status_code​​

​​3.2.2 response.content ​​

​​3.2.3 response.text​​

​​3.2.3 response.encoding​​

​​4 爬⾍伦理​​

​​4.1 Robots 协议​​

​​4.2 协议查看​​

1 兴趣引入

之前我写过一篇文章，是我博客里面收藏量、点赞量及访客量最多的文章：

​​爬虫——爬取贵阳房价（Python实现）​​

这一次，我们更详细的讲解爬虫，小白也能看懂，如果看不懂就直接躺平算了。（哈哈哈）

爬⾍，从本质上来说，就是利⽤程序在⽹上拿到对我们有价值的数据。

2 基本原理

2.1 浏览器⼯作原理

（1）解析数据：当服务器把数据响应给浏览器之后，浏览器并不会直接把数据丢给我们。因      为这些数据是⽤计算机的语⾔写的，浏览器还要把这些数据翻译成我们能看得懂的内容； （2）提取数据：我们就可以在拿到的数据中，挑选出对我们有⽤的数据； （3）存储数据：将挑选出来的有⽤数据保存在某⼀⽂件/数据库中。

2.2 爬⾍⼯作原理

（1）获取数据：爬⾍程序会根据我们提供的⽹址，向服务器发起请求，然后返回数据； （2）解析数据：爬⾍程序会把服务器返回的数据解析成我们能读懂的格式； （3）提取数据：爬⾍程序再从中提取出我们需要的数据； （4）储存数据：爬⾍程序把这些有⽤的数据保存起来，便于你⽇后的使⽤和分析。

3 爬虫步骤

下面我们对上图进行详细分析与讲解。

3.1 requests.get()

3.1.1 安装 requests 库

3.1.2 requests 库作⽤

requests 库可以帮我们-⽹⻚源代码、⽂本、图⽚，甚⾄是⾳频。其实，“下 载”本质上是 向服务器发送请求并得到响应。

3.1.3 requests 库使⽤

res = requests.get('URL')

requests.get 是在调⽤requests库中的get()⽅法，它向服务器发送了⼀个请求，括号⾥的参 数是你需要的数据所在的⽹址，然后服务器对请求作出了响应。我们把这个 响应返回的结果 赋值在变量res上。

3.2 Response对象的常⽤属性

3.2.1 response.status_code

打印 response 的响应状态码，以检查请求是否成功。

3.2.2 response.content

把 Response 对象的内容以⼆进制数据的形式返回，适⽤于图⽚、⾳频、视频的-。

3.2.3 response.text

把 Response 对象的内容以字符串的形式返回，适⽤于⽂字、⽹⻚源代码的-。

3.2.3 response.encoding

能帮我们定义 Response 对象的编码。（遇上⽂本的乱码问题，才考虑⽤ res.encoding）

​​计算机系统及编程语言（底层思维）​​

4 爬⾍伦理

4.1 Robots 协议

Robots 协议是互联⽹爬⾍的⼀项公认的道德规范，它的全称是“⽹络爬⾍排除标准”（Robots

exclusion protocol），这个协议⽤来告诉爬⾍，哪些⻚⾯是可以抓取的，哪些不可以。

4.2 协议查看

（1）在⽹站的域名后加上 /robots.txt 就可以了。如淘宝的robots协议 （  ）；

（2）协议⾥最常出现的英⽂是Allow和Disallow，Allow代表可以被访问，Disallow

代表禁⽌被访问。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。