Python爬虫利器 cURL你用过吗？（python爬虫利器,自建ip代理池）

Python爬虫利器 cURL你用过吗？（python爬虫利器,自建ip代理池）

hello，小伙伴们，今天给大家分享的开源项目是一个python爬虫利器，感兴趣的小伙伴看完这篇文章不妨去尝试一下，这个开源项目就是curlconverter，不知道小伙伴们分析完整个网站后去code代码的时候，有一个工作特别繁琐，不知道小伙伴们平时有没有注意，就是复制请求头中的header信息，需要重复复制，粘贴，过程有点冗余。今天给大家推荐的这个项目就完美的解决了这个问题，话不多说，直接看效果。

操作流程 以谷歌浏览器为例

1、F12打开控制台，找到Network选项。

2、找到你要请求的URL，右键复制，选中"Copy as cURL"。

3、将你复制的cURL，放到curl command box即可。

curl command box浏览器处理结果

可以选择多种语言，比如:Go，PHP，JavaScript，这里就不一一例举了，我选择的是Python语言。

代码结果展示

import requests

cookies = {

'_ga': 'GA1.2.1517699888.1586403509',

'_gid': 'GA1.2.1746914094.1586403509',

}

headers = {

'Connection': 'keep-alive',

'Cache-Control': 'max-age=0',

'Upgrade-Insecure-Requests': '1',

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36',

'Sec-Fetch-Dest': 'document',

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',

'Sec-Fetch-Site': 'none',

'Sec-Fetch-Mode': 'navigate',

'Sec-Fetch-User': '?1',

'Accept-Language': 'zh-CN,zh;q=0.9',

'If-None-Match': 'W/"5e659e99-1542"',

'If-Modified-Since': 'Mon, 09 Mar 2020 01:40:41 GMT',

}

response = requests.get('https://curl.trillworks.com/', headers=headers, cookies=cookies)

项目地址：https://github.com/NickCarneiro/curlconverter/

curl command box地址：https://curl.trillworks.com/

今天的推荐不知道大家喜欢吗？如果你们喜欢话，请在文章底部留言或点赞，以表示对我的支持，你们的留言，点赞，转发关注是我持续更新的动力哦！

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。