使用分布式爬虫检索B站年度大会员的分布情况

好久没更新 blog 了。想了想大概一个星期之前弄了一个分布式爬虫。大概可以写(水一发)。感谢@ntzyz赞助了三个 VPS。

起因是因为某daailou想要看看B站到底有多少人充值了信仰。所以我就搞了个爬虫试了试。试的时候发现B站已经添加了反爬机制。所以只能利用多 IP 分布式来爬信息了。

Python 版本Python3.5,使用的包:requests,pymysql

继续阅读使用分布式爬虫检索B站年度大会员的分布情况