用scrapy框架爬虫爬取小说导入数据库并用django框架搭建自己的小说网站

网友投稿 672 2022-10-11

用scrapy框架爬虫爬取小说导入数据库并用django框架搭建自己的小说网站

用scrapy框架爬虫爬取小说导入数据库并用django框架搭建自己的小说网站

用scrapy框架爬虫爬取小说导入数据库并用django框架搭建自己的小说网站

爬虫项目目录

Fiction/app01/fiction_scrapy

安装依赖模块:

pip3 install -r requirements.txt

爬虫启动命令:

cd Fiction/app01/fiction_scrapy/fiction_scrapy/spiders && scrapy crawl [spider] --nolog

【scrapy list】列出当前项目中所有可用的spider,每行输出一个spider:

$ scrapy listymltyqxs123yubookyueduyueyushuwuyyxs555zfbookzhuishubangzhuishushenqizhxs...

截图示例

小说网站启动命令(启动前先修改数据库配置文件settings.py同步数据库 ):

python3 manage.py makemigrationspython3 manage.py migratepython3 manage.py runserver 0:8000

下面是截图

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:python自定义线程池
下一篇:maven打jar包指定核心运行的main class的配置
相关文章

 发表评论

暂时没有评论,来抢沙发吧~