源码可以连续爬取一个或多个新浪微博用户（如胡歌、迪丽热巴、郭碧婷）的数据，并将结果信息写入文件或数据库。写入信息几乎包括了用户微博的所有数据，主要有用户信息和微博信息两大类，前者包含用户昵称、关注数、粉丝数、微博数等等；后者包含微博正文、发布时间、发布工具、评论数等等，因为内容太多，这里不再赘述，详细内容见输出部分。, a! b* R3 H$ |* M' n4 F6 [; L
具体的写入文件类型如下：
0 R& h& p8 S; j5 O' T3 i" r4 G( K, y1）写入txt文件（默认）4 U0 X; e: N9 ?, o& V2 g
2）写入csv文件（默认）- K8 P- V1 m5 k8 V2 S
3）写入json文件（可选）! R8 j I1 D Q, E [) o
4）写入MySQL数据库（可选）
, N) m! B, o M5 x4 v5）写入MongoDB数据库（可选）# r z: o! a( n$ N" U: o
6）下载用户原创微博中的原始图片（可选）& O: ?- N6 Q" _* F8 D0 i
7）下载用户转发微博中的原始图片（免cookie版特有）6 R4 a. a1 F! x$ i
8）下载用户原创微博中的视频（可选）
; P' k! V$ b/ S; N- s% ?9）下载用户转发微博中的视频（免cookie版特有）
5 ~. Z4 q# B1 ?8 h; }10）下载用户原创微博Live Photo中的视频（免cookie版特有）
/ q& \8 s1 f- S+ C11）下载用户转发微博Live Photo中的视频（免cookie版特有）0 P( K& u+ B! i/ h+ a% y
本程序分为设置用户cookie和免cookie两个版本，二者功能类似，免cookie版获取的信息更多，用法更简单，而且不需要cookie。下面以需要设置用户cookie的版本来介绍使用方法，免cookie版使用方法除了第1项，其他基本相同。
7 Q2 a! h& K! ]7 x/ e h1、打开 https://m.weibo.cn/ 登录你的微博账号获取headers的 cookie ，依此点击Chrome开发者工具中的Network->Name中的weibo.cn->Headers->Request Headers，"Cookie:"后的值即为我们要找的cookie值，复制即可，如图所示：
) H1 d. \3 m7 ?8 _: }
( }" l* ^: K: K
2、下载代码到本地，修改配置文件config.json，这里说明下，user_id_list填你要分析的微博账号uid，可以填多个，如："user_id_list": ["1223178222", "1669879400", "1729370543"],。filter为1表示分析原创微博，如果分析所有微博填0即可。since_date为从哪天的微博开始分析，然后就是把上面复制的cookie填到对应位置，免cookie版本不用填。
l# Y" W, Z S% w- g" ^! \{
"user_id_list": ["1669879400"],
"filter": 1,
"since_date": "2018-01-01",
"write_mode": ["csv", "txt"],
"pic_download": 1,
"video_download": 1,
"cookie": "your cookie",
"mysql_config": {
"host": "localhost",
"port": 3306,
"user": "root",
"password": "123456",
"charset": "utf8mb4"
}
}
3、接着执行pip install -r requirements.txt安装以下依赖包，当然你也可以单独安装。7 I. X2 T2 t* ^$ T2 w: `- E T
requests==2.22.0
$ y; |1 J4 U0 k- T, Qjieba==0.42.1+ Z6 p: s4 S. p$ A& ^9 C+ [# |/ G
wordcloud==1.6.0, w+ u2 P3 g; `1 u: @
scipy==1.2.1, C* g) Y2 n! S+ e( j2 j
seaborn==0.10.0
& u# n4 Z7 b4 P0 m& Kpandas
9 \7 A/ e/ {# X8 n# Q) _5 ]8 [lxml
) B1 M) P8 U# b4 h$ Otqdm- J. ~' x' C9 O; r2 |4 n
4、输入命令$ python weibo.py执行脚本。! u8 W5 H( Y1 @( H6 H
" `5 a4 X: ~% Y6 B
5、爬取的csv结果文件内容如下，其他文件类型可以在这里就不再截图。5 u2 |% F* N7 d
9 U ]2 W8 \5 ?& |, X3 N3 B点击下载cookie版代码 点击下载免cookie版代码/ `8 \% w, Q, z% c: j! J
, W4 X3 B# y8 d5 [: {& E _) v) T
| 
|手机版|小黑屋|paopaomj.COM
( 
渝ICP备18007172号|
渝公网安备50010502503914号 )
发表于 2020-6-5 18:32:32