yyeTs-resource-crawler 此程序可爬取大部分人人影视数据

yyeTs-resource-crawler 此程序可爬取大部分人人影视数据

yyeTs-resource-spider

直接查询的网站：https://v.dsb.ink

此程序可爬取大部分人人影视数据，具体bug还没测试

安装requirements

pip install -r requirements.txt

修改settings.json中的数据（当前为默认设置）

​ 布尔值只能设置为布尔值，true为需要爬取的数据，false则不爬取

​ pageNum：可选择"1-737"多页面 或者 "2" 单页面爬取

​ level：可选择只爬取 "e" ，也可以选择"abe"，"abc"等多种组合爬取，如果选择"all"，则会爬取一些暂无分级的影视信息

​ export：默认为导出csv格式，当前仅支持mongodb，如有需要，自行修改下列代码替换"csv"

{ "db": "mongodb", "host": "localhost", "port": 27017, "username": "", "password": "", "dbname": "rrys", "table": "rrys"}

英文对应的中文

线程=>threads链接=>url排名=>rank剧种=>dramaType评分=>score原名=>formerName地区=>region语 言=>language首播=>premiereDate制作公司/电视台=>company类型=>type翻译=>translatorIMDB=>imdb别名=>alias編劇=>screenwriter导演=>directors主演=>actors简介=>introduction图片链接=>imgurl

最后运行

python main.py

有什么问题可以联系邮箱zkw644720@gmail.com

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。