python爬虫入门(2):让你的github项目火起来

最近闲的比较无聊,于是想做一个自动star你的项目的爬虫玩玩。不然star数太低了,也比较难看。思路是准备注册成批的github帐号,然后挨个给你点star。

STEP.1 工具准备

我用的是python 2.7.10,本次实验不需要下载依赖库,用自带的就行了。

import urllib2,urllib,re,time

STEP.2 如何准备github帐号

显然,我们要star的话, 帐号少说也得有个1000个吧。1000个帐号手动注册明显是不可能的,所以我们得写个小程序来注册帐号。

我们首先来调研一下github注册的过程。打开github-join

我们填入如下信息


用chrome开发者工具我们可以看到,数据以post的形式发给了这个链接'https://github.com/join'

唯一还不明白的数据就是这个'authenticity_token'。但如果我们打开网页的源码,会发现每一页都会有'authenticity_token',有时还有好几个,而且还都不一样。那我们该发的是哪一个'authenticity_token'呢。

事实上,github每一个可供post的按钮都有token,你在post的时候,将离这个按钮最近的token发过去就行了。

知道了这一点后,我们就能开始写小程序了。

STEP.3 github_join的编写

class gitjoin:
    def __init__(self):
        cookies = urllib2.HTTPCookieProcessor() #构造cookies
        self.opener = urllib2.build_opener(cookies)
        self.opener.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'),('Origin','https://github.com'
                                    ),('Accept','text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'),('Accept-Language','zh-CN,zh;q=0.8'),
                                  ('Connection','keep-alive')] #请求头
        self.re_auth = re.compile('authenticity_token[^>]+') #得到github token信息

我们用一个叫gitjoin的类来封装我们的注册机。这里我们的正则表达式只用了一次,只要匹配那个'token'就行了。

然后我们需要获得token。这个token就是用来注册的。代码如下。

    def view(self):
        response = self.opener.open('https://github.com/join')
        html = response.read()
        print u'正在登录join'
        print u'状态码为',response.getcode()
        token = self.re_auth.findall(html)[0][41:-3]
        return token

获得了token之后,我们就可以开始注册了。

    def zhuce(self,token,login,email,password):
        self.formdata = {'utf-8':'✓','authenticity_token':token,'user[login]':login,'user[email]':email,'user[password]':password,'source':'form-home'}
        data_encoded = urllib.urlencode(self.formdata)
        print data_encoded
        response = self.opener.open('https://github.com/join',data_encoded)
        print u'正在注册'
        print u'状态码为',response.getcode(),u'转到',response.geturl()

注册完了,就结束了吗?

很明显没这么简单,你注册完之后,你的cookies保存了你的用户信息,你这时是不能够继续注册的。你需要logout之后,才能注册。

这里logout我就不用chrome分析了。反正就是post一个数据给https://github.com/logout,不过要记得加token(注意这里的token不是刚刚的注册token,我们需要重新获取它的logout token)。我直接上代码吧。

这是获取logout token

    def view_index(self):
        response = self.opener.open('https://github.com/')
        html = response.read()
        token = self.re_auth.findall(html)[0][41:-3]
        return token

这是logout

    def logout(self,token):
        self.formdata = {'utf-8':'✓','authenticity_token':token}
        data_encoded = urllib.urlencode(self.formdata)
        response = self.opener.open('https://github.com/logout',data_encoded)
        print u'正在登出'
        print u'状态码为',response.getcode(),u'转到',response.geturl()

现在gitjoin类就已经写好了,我们可以尝试注册一个账号了。

signin = gitjoin()
token = signin.view()
signin.zhuce(token,"pighasa100","pighasa100@qq.com","pighasa1")

执行代码后,发现在github上也是能登录这个帐号的。说明我们成功了。下一步只需要批量生成帐号就行了。

STEP.4 登录和点star

然后关于登录和点star的问题。之前我在叙述如何注册的时候就说过了,这里我就简要概括了。你们可以自己用chrome或者火狐或者wireshark去分析,我这里就直接上代码了。
这里是login


    def login(self,token,usr,password):
        self.formdata = {'commit':'Sign in','utf-8':'✓','authenticity_token':token,'login':usr,'password':password}
        data_encoded = urllib.urlencode(self.formdata)
        response = self.opener.open('https://github.com/session',data_encoded)
        print u'现在正在登陆',usr

这里是star


    def star(self,usrName,repoName):
        url = ''.join(['https://github.com/',usrName,'/',repoName,'/'])
        response = self.opener.open(url)
        html = response.read()
        token = self.re_auth.findall(html)[3][41:-3]
        formdata = {'utf-8':'✓','authenticity_token':token}
        data_encoded = urllib.urlencode(formdata)
        response = self.opener.open(url+'star',data_encoded)

STEP.5 疯狂star

这一步还能干啥呢,该干的都干了,现在当然是疯狂的用刚刚注册好的帐号来点star。我们来看看效果。

这是我的github页面,很明显能看到一堆机器在点赞。

不过我也是很怕被注意到然后被封掉的,所以我设置的延时比较长,点了一次赞之后,要过6秒才能点下一次。

这个项目po在这里githack
我在** github.py 这个文件里写了一个run函数,你只需要调用


run('你的id','你的仓库名',需要点赞的次数)

就可以自动帮你点star了。

喜欢的点一波喜欢

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,198评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,663评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,985评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,673评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,994评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,399评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,717评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,407评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,112评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,371评论 2 241
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,891评论 1 256
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,255评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,881评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,010评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,764评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,412评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,299评论 2 260

推荐阅读更多精彩内容