基于社交网络爬虫分析人物兴趣属性（三）

然后访问这个主页会发现，在关注连接的地方有href连接，包含了id和关注页面的连接：

a href="/2530520950/follow">关注[583]/a>

所以我们的递归就是：

1. 爬取用户的关注列表

2. 从中提取每个用户的主页和昵称

3. 在主页中正则提取关注连接，获取id

4. 将所有id整合为list，作为下一次递归的输入

接下来我们导入递归算法，这里有几个坑，比如微博有反爬虫机制，如果你的请求速度过快，即使登录之后，他也会将你302重定向到security.api去，并且让你输入短信验证码，代码运行后是如下情况而不是登录失败。

出现这样的情况不要怕，肯定是微博已经将你加入限制了，限制了你的免验证登录。解决办法：

1. 先去weibo.cn试试登录看，有没有要你验证身份，如果有，重新申请一个账户吧，这个是不会取消的重新，申请一个账户就可以免去检查。

2. 重新申请一个账户后，每一个账户尽量在固定ip下用同一种方式登录，也就是说，用脚本登录后，尽量不要太频繁的用浏览器登录了，会检测的。

3. 在你出问题的请求代码后面写入sleep几秒，这样就比较稳定

所以我调整过后的代码很稳定，每一次请求都会sleep一段时间，基本爬下来几百个用户不成问题，效果如下

将爬取结果写入文件效果如下：

稳定递归+写入文件代码如下，完整代码已经放在github上

https://github.com/smityliu/spider/blob/master/weibo_login.py：

推特模拟登录

推特的模拟登录是这个项目里最难的，网络上的方法大多数都不行，都是好几年前的，推特早就不用那个结构了。

我们来分析一下推特，发现没有任何验证码，有点高兴：

但是我们直接截取登录报文，尝试登录却发现他有好多随机的字段，特别是这个authenticity_token，你直接复制一个现成的肯定是不行的，模拟登录后一定是跳转302到login界面，告诉你登录失败。而且他登录的url是sessions，并不是login.html，推特的前端验证做的还是挺精细的。

但是也有漏洞，我们发现直接访问

https://twitter.com/login

这个页面，直接就有authenticity_token

所以其实他只是一个访问前端就可以获取的随机值，因此我们的模拟登录如下：

完整代码在（https://github.com/smityliu/spider/blob/master/weibo_login.py）

还没有结束，推特的模拟登录成功不是重点，他难就难在，你想查看用户的信息，后台是调用各种api来返回给你json数据

你登录了，肯定想：欸我直接爬

https://twitter.com/Stefsunyanzi/following

它不香么

不好意思，还真不行，你直接爬取following页面，里面会调用各种api接口，你只爬下来了一个following页面都是代码，一找api，都是404，直接爬会出现这个页面

我们攻破这个api，真的是一个很麻烦，很繁琐的过程，一堆json让你看，你得一个个响应包看过去，终于看到了关注人员的json包：

如果你想侥幸，直接复制当前的所有header和data进行requests请求，那么它一定返回：

{"errors":[{"code":215,"message":"BadAuthentication data."}]}

因为你的请求方式不对。

我们看一下它的请求包：

这看一下傻眼了，好消息坏消息一起来：

你说这个好登录吧，它也很好登录，因为authorization（我自己的删除了）这个东西就是储存你登录信息的字段，你只要有了这个字段，随便调用api了。

你说这个难登录吧，它贼难，各种随机字段，x-csrf-token这个字段真的是很劝退了，你如果你忽略这个字段，它一定提示你，this requests need matchcsrf-token这个报错，就是告诉你你得有这个token，我们曾经为了这个问题，真的几乎快放弃了推特登录。

但是真的上天眷顾不放弃的人，偶然一天晚上随便看字段发现个不得了的东西：

这cookie里的ct0字段不就是我们要找的x-csrf-token吗，但是还有一个问题就是，这个东西到底是服务端给的，还是自己客户端随机生成的，我们实验了一下：

每次的x-csrf-token都不一样，但是长度肯定是一样的

直接修改x-csrf-token为97e791a574a3a81468622aefcee61068，然后请求，他返回的结果写入文件后就是：

请求返回的是我们需要的json内容，而不是405请求失败，里面包含了用户的id，用户的昵称和用户的唯一名字。

这个说明csrf-token在推特的登录机制中是由客户端生成并且给服务端的，这个就很好做了啊，我随便使用一个曾经登录获取到的csrftoken然后修改cookie里的ct0字段为这个值，就可以直接登录了。

怎么看用户的id呢，

观察提取用户关注的url，发现是和用户id有关的：

https://api.twitter.com/1.1/friends/list.json?include_profile_interstitial_type=1 Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36', #建议每次用脚本之前，都去浏览器再重新更新一下cookie，以防过期，获取过程很简单，直接看发包就可以了，然后整个脱下来。 'Cookie':'_ga= , 'x-csrf-token':'97e791a574a3a81468622aefcee61068'} position=0 id_next_all=[] follower_name_all=[] for ids in id_all: url='https://api.twitter.com/1.1/friends/list.json?include_profile_interstitial_type=1','_').replace('>','_').replace('|','_').replace('\'','_') filename=str(name_all[position])+'.txt' print(filename) print('\n') try: with open('./twitter/'+filename,'w',encoding='utf-8') as f: f.write(str(follower_name)) except: pass position=position+1 id_next_all=id_next_all+id_next follower_name_all = follower_name_all + follower_name turn = turn +1 print(id_next_all) print(follower_name_all) spider_follower(id_next_all,follower_name_all,turn)