爬取豆瓣电影排名的代码以及思路(爬取豆瓣电影并数据分析)

网友投稿 829 2022-09-10

爬取豆瓣电影排名的代码以及思路(爬取豆瓣电影并数据分析)

爬取豆瓣电影排名的代码以及思路(爬取豆瓣电影并数据分析)

博问上到有人问的,后自己帮他代码修正了一下,其实蛮简单的一个爬虫

代码以及思路

from requests_html import HTMLSession

session = HTMLSession() #定义一个session对象,和reuqests模块中的session是一样的

def get_movie():

movie_list=[]

for i in range(0, 10): #前250名

print(f'{i+1}页')

link = f'https://movie.douban.com/top250?start={i*25}' #这里呢稍微点几页你就知道规律了

print(link)

response = session.get(link) #这里很多人都有误区总是喜欢加User-Agen,个人感觉他反爬的时候用到这个再加,人家都没设这方面的反爬加了也没啥意义

div_list = response.html.find('.info') #你也可以获取info类下的电影信息

for each in div_list:

movie = each.text #获取里面所有字符串

movie_list.append(movie) #加列表你可以存数据库,这随意

return movie_list

if __name__ == '__main__':

print(get_movie())

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:端口被占用,如何释放端口
下一篇:线程同步、死锁与生产者消费者
相关文章

 发表评论

暂时没有评论,来抢沙发吧~