源码可以连续爬取一个或多个新浪微博用户(如胡歌、迪丽热巴、郭碧婷)的数据,并将结果信息写入文件或数据库。写入信息几乎包括了用户微博的所有数据,主要有用户信息和微博信息两大类,前者包含用户昵称、关注数、粉丝数、微博数等等;后者包含微博正文、发布时间、发布工具、评论数等等,因为内容太多,这里不再赘述,详细内容见输出部分。4 S4 Y I0 @) ?1 |4 ]/ E
具体的写入文件类型如下:9 X7 D' ]' M2 A8 G
1)写入txt文件(默认)
0 G' e( X5 `# m+ k/ S5 l2)写入csv文件(默认)
( c: V+ w4 N5 Y( O3)写入json文件(可选)" u3 Y( s2 u: e! g5 N$ C* y
4)写入MySQL数据库(可选)" v7 F* s. ~5 d# w
5)写入MongoDB数据库(可选)8 l4 e' Y0 w0 ^6 D+ H* x- O8 l
6)下载用户原创微博中的原始图片(可选)0 `: p" ~' T& M" f. q1 L
7)下载用户转发微博中的原始图片(免cookie版特有)
( f) P; W" k$ L9 p) r8)下载用户原创微博中的视频(可选)
# w6 }* u5 k4 `8 V* g: ]3 `7 @; u9)下载用户转发微博中的视频(免cookie版特有)1 O S' t4 C p* X/ t, l" M
10)下载用户原创微博Live Photo中的视频(免cookie版特有); C% D4 V2 X- I; A* d% v
11)下载用户转发微博Live Photo中的视频(免cookie版特有)* E8 g6 ~ Y" `, M v
本程序分为设置用户cookie和免cookie两个版本,二者功能类似,免cookie版获取的信息更多,用法更简单,而且不需要cookie。下面以需要设置用户cookie的版本来介绍使用方法,免cookie版使用方法除了第1项,其他基本相同。
7 \% V4 w/ _) K4 U; B- ]4 [$ m1、打开 https://m.weibo.cn/ 登录你的微博账号获取headers的 cookie ,依此点击Chrome开发者工具中的Network->Name中的weibo.cn->Headers->Request Headers,"Cookie:"后的值即为我们要找的cookie值,复制即可,如图所示:1 Q/ M- y& x$ B6 h$ c
6 Z8 W) c/ u$ @& X6 i6 V7 i( \. ?2、下载代码到本地,修改配置文件config.json,这里说明下,user_id_list填你要分析的微博账号uid,可以填多个,如:"user_id_list": ["1223178222", "1669879400", "1729370543"],。filter为1表示分析原创微博,如果分析所有微博填0即可。since_date为从哪天的微博开始分析,然后就是把上面复制的cookie填到对应位置,免cookie版本不用填。
( s9 R- q/ a9 W1 A( ^9 w, B{
"user_id_list": ["1669879400"],
"filter": 1,
"since_date": "2018-01-01",
"write_mode": ["csv", "txt"],
"pic_download": 1,
"video_download": 1,
"cookie": "your cookie",
"mysql_config": {
"host": "localhost",
"port": 3306,
"user": "root",
"password": "123456",
"charset": "utf8mb4"
}
} 3、接着执行pip install -r requirements.txt安装以下依赖包,当然你也可以单独安装。: J1 P: H$ t: Q/ M% E' f
requests==2.22.0
5 n2 Y1 {7 z7 @! o7 d$ hjieba==0.42.1, ]7 i5 d v9 Z+ \. d2 l8 l) u, L
wordcloud==1.6.08 A# e7 C* o+ p% S. i
scipy==1.2.1
+ [* R7 g! t* M8 r1 l# W4 [4 Qseaborn==0.10.0) U, V( `% ~( o; @' ~( I. p
pandas! j3 R U% S6 w: e
lxml
, O5 A" c; ^- U$ ^3 ktqdm
1 s' k# A& B1 n9 H9 v/ u0 L8 j4、输入命令$ python weibo.py执行脚本。) Q Z) N! s5 b/ {
- O, Y5 ]- C) h. f2 n
5、爬取的csv结果文件内容如下,其他文件类型可以在这里就不再截图。7 d9 v- A5 b+ X! C0 B+ \
# ]' a H6 q- {2 K# D
点击下载cookie版代码 点击下载免cookie版代码7 _5 L9 z& S4 G9 @
- Q. S3 B6 \. p7 x+ }
|