Python3爬虫系列的理论验证，比较同步依序下载、多进程并发、多线程并发和asyncio异步编程之间的效率差别

Python3爬虫系列的理论验证，比较同步依序-、多进程并发、多线程并发和asyncio异步编程之间的效率差别

python3-concurrency

1. 爬虫系列

Python 3 爬虫｜第1章：I/O Models 阻塞/非阻塞 同步/异步Python 3 爬虫｜第2章：Python 并发编程Python 3 爬虫｜第3章：同步阻塞-Python 3 爬虫｜第4章：多进程并发-Python 3 爬虫｜第5章：多线程并发-Python 3 爬虫｜第6章：可迭代对象 / 迭代器 / 生成器Python 3 爬虫｜第7章：协程 CoroutinesPython 3 爬虫｜第8章：使用 asyncio 模块实现并发Python 3 爬虫｜第9章：使用 asyncio + aiohttp 并发-Python 3 爬虫｜第10章：爬取少量妹子图Python 3 爬虫｜第11章：爬取海量妹子图

2. 使用方法

2.1 Server

为防止DDoS攻击，本次测试需要在本地搭建一个HTTP测试服务器，具体方法参考 Python3爬虫系列03 (实验) - 同步阻塞-

2.2 Client

(1) -代码

[root@CentOS ~]# git clone https://github.com/wangy8961/python3-concurrency.git[root@CentOS ~]# cd python3-concurrency/

(2) 准备虚拟环境

如果你的操作系统是Linux:

[root@CentOS python3-concurrency]# python3 -m venv venv3[root@CentOS python3-concurrency]# source venv3/bin/activate

Windows激活虚拟环境的命令是: venv3\Scripts\activate

(3) 安装依赖包

如果你的操作系统是Linux:

(venv3) [root@CentOS python3-concurrency]# pip install -r requirements-linux.txt

如果你的操作系统是Windows（不会使用uvloop）:

(venv3) C:\Users\wangy> pip install -r requirements-win32.txt

(4) 测试

依序-：

(venv3) [root@CentOS python3-concurrency]# python sequential.py

多进程-：

(venv3) [root@CentOS python3-concurrency]# python processpool.py

多线程-：

(venv3) [root@CentOS python3-concurrency]# python threadpool.py

异步-：

(venv3) [root@CentOS python3-concurrency]# python asynchronous.py

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。