简介 7 l+ m! T1 U6 k% e$ l
AutoScraper 是使用 Python 实现的 Web 爬虫,兼容 Python 3,能快速且智能获取指定网站上的数据,这些数据可以是网页文本、URL 地址或者是其它 HTML 元素。另外,它还可以学习抓取规则并返回类似的元素。% b% o, V' S0 `/ n4 |1 X
下载安装 / s' d7 \, K& g" z4 O6 F
项目的源码地址是:https://github.com/alirezamika/autoscraper ' T7 g/ A% G( x8 R3 v+ ~ {
兼容 Python 3。可使用以下方法进行安装:
* j7 e1 j9 ]' b (1)从git获取安装 $ pip install git+https://github.com/alirezamika/autoscraper.git . ?9 m% \& b; ] }) R" a1 X9 n) R
(2)从PyPI获取安装 $ pip install autoscraper8 }0 h2 ]% y9 s2 h) B; X+ ^5 X! ]
(3)下载源码后进行安装 $ python setup.py install5 `& S+ c) z! J- N- Y- x1 |
简单使用 ' g; m# z6 u$ x7 h# d4 T
假设我们想在stackoverflow页面中获取所有相关的文章标题:; i8 U) N6 \9 _* V! q7 L
from autoscraper import AutoScraper
url = 'https://stackoverflow.com/questions/2081586/web-scraping-with-python'
wanted_list = ["How to call an external command?"]
scraper = AutoScraper()
result = scraper.build(url, wanted_list)
print(result) 输出结果如下:" `6 g( {5 t* D! Z7 O* P+ z( @
[
'How do I merge two dictionaries in a single expression in Python (taking union of dictionaries)?',
'How to call an external command?',
'What are metaclasses in Python?',
'Does Python have a ternary conditional operator?',
'How do you remove duplicates from a list whilst preserving order?',
'Convert bytes to a string',
'How to get line count of a large file cheaply in Python?',
"Does Python have a string 'contains' substring method?",
'Why is “1000000000000000 in range(1000000000000001)” so fast in Python 3?'
]抓取相似结果 6 {* L/ ?( A1 e' C& v- M% \5 k# {
当你还想获取stackoverflow上其他页面中所有相关的文章标题,则可以直接通过get_result_similar方法获取:
1 H- l7 j! [3 `, R# e2 Z% D8 { scraper.get_result_similar('https://stackoverflow.com/questions/606191/convert-bytes-to-a-string') 两个页面的抓取结果为:9 L$ b( x# E4 A# Q5 J: `
7 d: s* T' T3 i2 M- e) G 抓取确切结果 6 B' e4 e2 Q0 q; [
当你只想抓取某个确切的结果,可以使用get_result_exact方法,即从wanted_list中以完全相同的顺序检索数据:
3 q& a8 x! i0 Q" s scraper.get_result_exact('https://stackoverflow.com/questions/606191/convert-bytes-to-a-string') 比如抓取页面中排第2的相关文章标题,执行结果:- \! P) q/ l$ L2 i+ i
& L$ B1 H) m9 I
自定义请求模块参数 . }# A/ Y! i F1 E/ W* O8 ?% ^
你还可以传递任何自定义请求模块参数。例如,你可能想使用代理或自定义头:/ W: s8 m( O1 K
proxies = {
"http": 'http://127.0.0.1:8001',
"https": 'https://127.0.0.1:8001',
}
result = scraper.build(url, wanted_list, request_args=dict(proxies=proxies))抓取多项信息
5 R' e0 @ |1 \ 假设我们想要抓取关于文本,Star的数量和Github回购页面的问题链接:; ?( ~& f0 v$ h% N
from autoscraper import AutoScraper
url = 'https://github.com/alirezamika/autoscraper'
wanted_list = ['A Smart, Automatic, Fast and Lightweight Web Scraper for Python', '2.5k', 'https://github.com/alirezamika/autoscraper/issues']
scraper = AutoScraper()
scraper.build(url, wanted_list) 执行结果为:
, u4 a' N. O( z& l( R* }
' ^' O8 n6 ^( E' k 保存模型
/ n( N( t- q2 X" Y8 u 我们可以保存抓取的模型以便以后使用:) {% P8 B; C. P9 ~, ?
# 指定保存的文件路径
scraper.save('stackoverflow')
# 调用方法:
scraper.load('stackoverflow') AutoScraper简单介绍就到这里了,如果你想使用更多的功能,详见官方主页了解。
1 e) r0 Y6 F$ d # F8 e' N2 B3 I/ @) o( }$ A1 p$ \5 U