快乐学习
前程无忧、中华英才非你莫属!

爬取和分析简书的数据

大数据

作者:sexycoder

最近入门了一下scrapy,找了一个网站练手,半天的时间爬取了简书20w用户数据和40w的follow关系。这些存在mysql里面的闲着也是闲着,想做一些有意思的数据统计和社交关系分析。

最受欢迎的作者

我统计了简书上面粉丝数最多和被喜欢次数最多的用户,简书上最受欢迎的作者,如下图所示:

大数据

我把最受欢迎的作者的放到一张图上面,横坐标表示粉丝数,纵坐标表示被喜欢的次数,如下图所示。可以很明显的看出来,这些最受欢迎的作者里面,大多数的作者还是聚集在图的左下角,but,还有几个超级受欢迎的,他们分别分布在图的右侧和上侧。他们分别是,刘淼,彭小六,简黛玉。很可惜,截图上不能附上作者的名字。

大数据

这是同济最受欢迎的作者的原始数据,我也贴在这里,如下图所示,数据爬取的时间是 2017年10月20日左右。下图的这四列分别是,uid,昵称,粉丝数,被喜欢数。

大数据

最能写的作者

统计了发表文章数最多的top20作者,如下图所示:

大数据

排名第一的这位孤鸟差鱼 ( http://www.jianshu.com/u/a4bb86f4ba07),写了1799篇文章啊!我的天!但是这里有一个bug,这位作者虽然能写,但是每篇文章被喜欢的次数很低,基本上是个位数。可能是一位孤独but高产的作者。

平均每个字被喜欢次数坐高的作者

从上面的一个统计里面吸取到的一个灵感,虽然上面的作者很能写,但是被喜欢的次数却很低,这一次统计的是平均每个字被喜欢次数坐高的作者。如下图所示:

大数据

这个结果就更加意外了,排在前面的这几个大哥,就写了一个字,but 收获了48个喜欢!!!!每个字被喜欢的比例是1:48!!!于是,很好奇这位大哥,这一个字写得是什么,跑去围观。。

大数据

用户的粉丝数分布的比例

分析了一下每个用户的粉丝数,绝大多数用户的粉丝数只有10人以下,而粉丝数分布在[10,20]之间的用户明显少了很多,简直是锐减!!!这也基本上符合一个社交网络的结果,绝大多数的人都是围观者,都是内容或者是消息的的接收者。拥有大量粉丝的人,往往很少,这一部分的人是这个社交网络的核心,是信息或者是消息的创造者,拥有更加强大的话语权。

大数据

End.

打赏
赞(0) 打赏
未经允许不得转载:同乐学堂 » 爬取和分析简书的数据

特别的技术,给特别的你!

联系QQ:1071235258QQ群:710045715

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续给力更多优质内容,让我们一起创建更加美好的网络世界!

支付宝扫一扫打赏

微信扫一扫打赏

error: Sorry,暂时内容不可复制!