Python爬虫实战，argparse模块，Github用户粉丝数据爬虫（python argparse）

Python爬虫实战，argparse模块，Github用户粉丝数据爬虫（python argparse）

前言

主要目标是爬取Github上指定用户的粉丝数据以及对爬取到的数据进行一波简单的可视化分析。

让我们愉快地开始吧~

开发工具

Python版本：3.6.4

相关模块：

bs4模块；

requests模块；

argparse模块；

pyecharts模块；

以及一些python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

数据爬取

感觉好久没用beautifulsoup了，所以今天就用它来解析网页从而获得我们自己想要的数据呗。以我自己的账户为例：

我们先抓取所有关注者的用户名，它在类似如下图所示的标签中：

用beautifulsoup可以很方便地提取它们：

'''获得followers的用户名'''

def getfollowernames(self):

print('[INFO]: 正在获取%s的所有followers用户名...' % self.target_username)

page = 0

follower_names = []

headers = self.headers.copy()

while True:

page += 1

followers_url = f'https://github.com/{self.target_username}?page={page}&tab=followers'

try:

response = requests.get(followers_url, headers=headers, timeout=15)

html = response.text

if 've reached the end' in html:

break

soup = BeautifulSoup(html, 'lxml')

for name in soup.find_all('span', class_='link-gray pl-1'):

print(name)

follower_names.append(name.text)

for name in soup.find_all('span', class_='link-gray'):

print(name)

if name.text not in follower_names:

follower_names.append(name.text)

except:

pass

time.sleep(random.random() + random.randrange(0, 2))

headers.update({'Referer': followers_url})

print('[INFO]: 成功获取%s的%s个followers用户名...' % (self.target_username, len(follower_names)))

return follower_names

接着，我们就可以根据这些用户名进入到他们的主页来抓取对应用户的详细数据了，每个主页链接的构造方式为：

https://github.com/ + 用户名

例如: https://github.com/CharlesPikachu

我们想要抓取的数据包括：

同样地，我们利用beautifulsoup来提取这些信息：

for idx, name in enumerate(follower_names):

print('[INFO]: 正在爬取用户%s的详细信息...' % name)

user_url = f'https://github.com/{name}'

try:

response = requests.get(user_url, headers=self.headers, timeout=15)

html = response.text

soup = BeautifulSoup(html, 'lxml')

# --获取用户名

username = soup.find_all('span', class_='p-name vcard-fullname d-block overflow-hidden')

if username:

username = [name, username[0].text]

else:

username = [name, '']

# --所在地

position = soup.find_all('span', class_='p-label')

if position:

position = position[0].text

else:

position = ''

# --仓库数, stars数, followers, following

overview = soup.find_all('span', class_='Counter')

num_repos = self.str2int(overview[0].text)

num_stars = self.str2int(overview[2].text)

num_followers = self.str2int(overview[3].text)

num_followings = self.str2int(overview[4].text)

# --贡献数(最近一年)

num_contributions = soup.find_all('h2', class_='f4 text-normal mb-2')

num_contributions = self.str2int(num_contributions[0].text.replace('\n', '').replace(' ', ''). \

replace('contributioninthelastyear', '').replace('contributionsinthelastyear', ''))

# --保存数据

info = [username, position, num_repos, num_stars, num_followers, num_followings, num_contributions]

print(info)

follower_infos[str(idx)] = info

except:

pass

time.sleep(random.random() + random.randrange(0, 2))

数据可视化

这里以我们自己的粉丝数据为例，大概1200条吧。

先来看看他们在过去一年里提交的代码次数分布吧：

再来看看每个人拥有的仓库数量分布呗：

本以为会是条单调的曲线，看来低估各位了。

接着来看看star别人的数量分布呗：

再来看看这1000多个人拥有的粉丝数量分布呗：

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。