使用scrapy框架爬取一些医疗疾病数据

使用scrapy框架爬取一些医疗疾病数据

scrapy_medical

最近毕设，想要做一个疾病诊断系统，需要爬一些数据，正好想要学习一下scrapy框架，因此使用scrapy框架爬取了问医网上的一些医疗疾病数据，里面涉及到了分页，分块，多级嵌套爬取，贴出来和大家一起学习

安装scrapy 和 mongodb

pip install scrapybrew install mongodb

创建一个scrapy工程

scrapy startproject yourproject 创建好的工程目录结构如下：

yourproject/ scrapy.cfg yourproject/ __init__.py items.py pipelines.py settings.py spiders/ __init__.py ...

其中

scrapy.cfg所在的目录为根目录items.py为你自己需要定义的爬虫爬下来的格式pipelines.py为数据的处理和导出spider目录为你自己需要定义的蜘蛛的目录

具体的实现可参考本工程

other

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。