python - 如何获取新浪微博某个用户的转发微博数和原创微博数

问题描述

1.问题描述我正在做微博水军相关分析，需要获取微博用户的转发微博比和原创微博比，即用户转发他人微博数/所有微博数。

查阅文献发现很多人的论文中有这一类数据，但不知道怎么获得的。

我发现手机端和pc版本的微博，都可以利用筛选，查找一个人的转发微博，但是当我在手机版这样筛选时返回结果为空。

而电脑版得到的结果，转发微博数和原创微博数的和明显远小于全部微博数。

2.需要的帮助（1）新浪微博的搜索引擎是不是有问题（2）能否通过某种搜索方式得到一个人的原创微博数，和转发微博数，API与爬虫均可。（不是用全部微博数-原创微博数，因为还包含不可见微博）。

问题解答

我开源了一个分布式的微博爬虫，该项目最初是做关于热门微博转发的分析（和我本身工作相关）。后来经过我多次修改，加了很多新的功能，并把它开源出来了。关于第一个问题，微博的搜索引擎是否有问题，我觉得有可能是它刻意为之，因为比如像用户关注和用户粉丝，微博系统就只会限制返回5页数据，像按地方搜索用户，也只会返回几万条数据。也有可能是由于有些微博你没权限查看，而它搜出来的结果是你有权限查看的。你说的第二个问题，不可见微博肯定是拿不到的，爬虫只能拿到普通用户能看见的微博数据，这个我也是在代码中实现了。因为私有微博的话，肯定微博系统不会展示的，API应该也拿不到。因为微博这么大的公司，还是得保护一下用户隐私吧。移动端你通过搜索接口搜索返回为空的原因，其实可能是因为微博刻意这么做的。你可以仔细调研一下，会发现PC端的信息比移动端的微博信息丰富得多。所以如果要做爬虫，且要求数据全面，肯定得从PC端入手。