[爬虫]Scapy

[爬虫]Scapy

1.安装(任意系统): pip install scrapy

Linux下有可能报:安装Scrapy   报错

Could not find a version that satisfies the requirement Twisted>=13.1.0 (from Scrapy) (from versions: ) No matching distribution found for Twisted>=13.1.0 (from Scrapy)

原因是没有安装Twisted

wget -jxvf Twisted-17.1.0.tar.bz2cd Twisted-17.1.0python setup.py installcd ..pip install scrapy

解压报错还需要安装:yum -y install bzip2

也可以使用:pip install Twisted==17.1.0  (too old.想了很多方法,试过

pip install --upgrade pip pip install --upgrade setuptools

发现都升级成功了,但是还是报错.然后查了一下pip的路径和version,发现是python3,那问题就出在python2和3的指向了.用python setup.py install,使用的是python2的,所以无论怎样更新,更新的都不是它.肯定报错了.这时

只需要使用python3 setup.py install,立马成功.

2.测试:Python下输入:

>>> import scrapy>>> scrapy.version_info

输出(1, 5, 1),安装成功.

3.创建项目:

到你的项目路径下:

scrapy startproject example

4.数据信息:

在web页面任意item下右击审查元素可以看到其html信息

5.运行:

scrapy crawl books -o books.csv

每当出新语法糖，这些单词就会成为关键字，禁止当作变量名了。

这里async下面出现报错，因为await async成为了3.7的关键字，不能作为变量名使用。

进入manhole.py将async全改成async1就阔以了。

manhole.py路径可以从出错的log中看到.

然后报exceptions.ImportError: No module named _sqlite3

没有安装sqlite3,安装 sqlite-devel，重新安装python

yum install sqlite-devel

重新安装python,cd 解压文件夹,make 然后 make install

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。