一个订制的爬虫框架

一个订制的爬虫框架

MySpider

Unfinished , suspending...

爬取页面数据分析代理多进程验证识别分布式

Usage

-e method n1 n2 method:screen 和 file 是method的两种方法.screen 意思是输出到屏幕,file 意思是输出到文件. n1,n2:在第n1个url到第n2个url上应用method eg. -e screen 1 13 意思是输出第1个到第13个url的结果到屏幕 默认method是screen,并且输出所有组

-c n1 n2 n3 n1,n2,n3:获取第n1个url返回的cookies并传递给第n2个url到第n3个url eg. -c 3 14 16 意思是将第3个url获取的cookies作为headers参数传给第14，15，16个url

-x name_of_xls, name_of_sheet, column, title[] nameofxls:xls文件名 nameofsheet:表单名 column:列数 title:一个list，存放每一列开头的title eg. -x student_score.xls score 4 name,age,gender,score

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。