源码可以连续爬取一个或多个新浪微博用户（如胡歌、迪丽热巴、郭碧婷）的数据，并将结果信息写入文件或数据库。写入信息几乎包括了用户微博的所有数据，主要有用户信息和微博信息两大类，前者包含用户昵称、关注数、粉丝数、微博数等等；后者包含微博正文、发布时间、发布工具、评论数等等，因为内容太多，这里不再赘述，详细内容见输出部分。- Q2 w# J; q) y0 F+ }" K
具体的写入文件类型如下：
1 k6 d0 o6 `$ I& f: `1）写入txt文件（默认）
$ k9 t+ v2 k5 [ G. ]5 `- z$ m1 x2）写入csv文件（默认）) l) A @2 K4 ]1 O" m6 v8 l
3）写入json文件（可选）7 Z% R; n4 d# v2 V
4）写入MySQL数据库（可选）1 s; v3 d( _8 s; r2 R
5）写入MongoDB数据库（可选）0 H, `7 h0 P& H
6）下载用户原创微博中的原始图片（可选）
/ T- e8 Q9 B9 b6 h0 R0 c* `7）下载用户转发微博中的原始图片（免cookie版特有）
$ @4 w2 m! d0 }5 N4 i3 H" R3 A) U' X1 Y8）下载用户原创微博中的视频（可选）
; w8 _( J$ s- h7 T6 Q9）下载用户转发微博中的视频（免cookie版特有）
* r, U% D" W& @6 K% _7 ]10）下载用户原创微博Live Photo中的视频（免cookie版特有）8 V- F6 | i& @2 K8 Y9 R2 }
11）下载用户转发微博Live Photo中的视频（免cookie版特有）* f; p; V! S2 i) F8 q H2 P
本程序分为设置用户cookie和免cookie两个版本，二者功能类似，免cookie版获取的信息更多，用法更简单，而且不需要cookie。下面以需要设置用户cookie的版本来介绍使用方法，免cookie版使用方法除了第1项，其他基本相同。0 ?2 U7 y; U7 t
1、打开 https://m.weibo.cn/ 登录你的微博账号获取headers的 cookie ，依此点击Chrome开发者工具中的Network->Name中的weibo.cn->Headers->Request Headers，"Cookie:"后的值即为我们要找的cookie值，复制即可，如图所示：
; @5 X( b/ g+ e
8 D* h7 b3 |+ F. A2、下载代码到本地，修改配置文件config.json，这里说明下，user_id_list填你要分析的微博账号uid，可以填多个，如："user_id_list": ["1223178222", "1669879400", "1729370543"],。filter为1表示分析原创微博，如果分析所有微博填0即可。since_date为从哪天的微博开始分析，然后就是把上面复制的cookie填到对应位置，免cookie版本不用填。& }/ ~! t3 }( l7 y( V% I4 ]
{
"user_id_list": ["1669879400"],
"filter": 1,
"since_date": "2018-01-01",
"write_mode": ["csv", "txt"],
"pic_download": 1,
"video_download": 1,
"cookie": "your cookie",
"mysql_config": {
"host": "localhost",
"port": 3306,
"user": "root",
"password": "123456",
"charset": "utf8mb4"
}
}
3、接着执行pip install -r requirements.txt安装以下依赖包，当然你也可以单独安装。, p$ i, P) B* s& @4 i
requests==2.22.08 [: ?- t! U6 p8 c5 P
jieba==0.42.1
& y0 Q- ~) Y- c) r5 d! Mwordcloud==1.6.0% m) V6 q+ V8 e3 x1 M( q: B
scipy==1.2.17 [* `, E! o! j' \4 e+ L7 `3 X8 o7 A
seaborn==0.10.0
( {8 s. F' \1 R! z& ?( jpandas. y+ s. V/ |! h: p
lxml
2 ]& i% H9 B: C: r1 Z: }6 gtqdm9 d7 d) H0 ?1 F: H, }
4、输入命令$ python weibo.py执行脚本。
" N# |. \3 ?' b: z7 f! t/ K
; [+ I* j, t1 C( j
5、爬取的csv结果文件内容如下，其他文件类型可以在这里就不再截图。
0 z- q5 l) }. m; I" H0 |
: S+ ]& g$ S/ a# A3 k4 H- d) p点击下载cookie版代码 点击下载免cookie版代码
* h* ~- |/ C/ N( e- y2 ?# |+ D6 X, k* c. n3 Q: n! A
| 
|手机版|小黑屋|paopaomj.COM
( 
渝ICP备18007172号|
渝公网安备50010502503914号 )
发表于 2020-6-5 18:32:32