|
|
Python作为一种编程语言近年来越来越受欢迎，它为什么这么火？其中一个重要原因就是因为Python的库丰富——Python语言提供超过15万个第三方库，Python库之间广泛联系、逐层封装。几乎覆盖信息技术所有领域，下面简单介绍下数据分析与可视化、网络爬虫、自动化、WEB开发、机器学习常用的一些第三方库。: G* J$ C2 X0 d
7 v9 U' l8 X9 v
一、数据分析和可视化 9 e# b/ F* L* k: M7 O6 `
1.matplotlib Matplotlib 是一个 Python 的 2D绘图库，它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形。Matplotlib 可用于 Python 脚本，Python 和 IPython shell（例如 MATLAB 或 Mathematica）。4 ?" I5 X* _/ E5 @$ ?, c
2.numpy NumPy是Python科学计算的基础工具包，包括统计学、线性代数、矩阵数学、金融操作等等很多Python数据计算工作库都依赖它。支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。
x4 _7 b; b3 _5 \. x3.pyecharts Pyecharts是一个用于生成 Echarts 图表的类库。, A, x7 e' T/ G3 j& d8 F6 L0 |2 X
4.pandas Pandas是一个用于Python数据分析的库，它的主要作用是进行数据分析。Pandas提供用于进行结构化数据分析的二维的表格型数据结构DataFrame，类似于R中的数据框，能提供类似于数据库中的切片、切块、聚合、选择子集等精细化操作，为数据分析提供了便捷。7 [3 @( F+ v2 V1 g% p% `# x
5.scipy Scipy是一组专门解决科学和工程计算不同场景的主题工具包，它用于有效计算Numpy矩阵，使Numpy和Scipy协同工作，高效解决问题。& B/ V9 G. |8 T) C; O* @
6.plotly Plotly一个开源的、交互式的、基于浏览器的 Python 图形库，支持散点图、3D图等众多图形。; X0 G+ Z& }% k9 w1 q, N6 R* D' f
7.statsmodels Statsmodels是Python的统计建模和计量经济学工具包，包括一些描述性统计、统计模型估计和统计测试，集成了多种线性回归模型、广义线性回归模型、离散数据分布模型、时间序列分析模型、非参数估计、生存分析、主成分分析、核密度估计以及广泛的统计测试和绘图等功能。/ G' a8 a0 |. r% B( o
二、网络爬虫 1 p$ p2 J# F. y
1.requests 网络请求库，提供多种网络请求方法并可定义复杂的发送信息，对HTTP协议进行高度封装，支持非常丰富的链接访问功能。
, @0 l) [" R: C+ c' u9 o1 W2.bs4 BS4全称是Beatiful Soup,它提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。
# Z" s6 U2 ^ C7 c3.scrapy 分布式爬虫框架，可用于模拟用户发送、侦听和解析并伪装网络报文，常用于大型网络数据爬取。3 h6 K9 Y7 S( R7 Y# c, j: L9 x
4.portia Portia是scrapyhub开源的一款可视化的爬虫规则编写工具。它提供可视化的Web页面，你只需要通过点击标注页面上你需要抽取的数据，不需要任何编程知识即可完成规则的开发。
7 [4 O" v( Q" m% S: R. }5.cola Cola是一个分布式的爬虫框架，用户只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。
/ A. K' e! T% V6 O+ I三、自动化
( C6 K: D F3 R+ M$ ]2 X* X; @1.selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE，Mozilla Firefox，Safari，Google Chrome，Opera，Edge等。
@1 X1 m! z: m' D) m2.pymysql 是Python操作MySQL数据库 。8 a! n- p$ {( h# C- t+ X" b
3.pymongo 是Python中用来操作MongoDB的一个库。而MongoDB是一个基于分布式文件存储的数据库,旨在为WEB应用提供可扩展的高性能数据存储解决方案。9 q1 U! M1 z+ E: s6 q
4.splinter Splinter 是一个用 Python 编写的 Web 应用程序进行验收测试的工具。7 t4 G0 M$ {1 H u4 i
5.openpyxl 一个处理Microsoft Excel文档的Python第三方库，它支持读写Excel的xls、xlsx、xlsm、xltx、xltm。
- o* E) s4 ~) n0 ?/ N0 I6. python-docx 一个处理Microsoft Word文档的Python第三方库，它支持读取、查询以及修改doc、docx等格式文件，并能够对四、Web开发 - C% H& o! q8 { Y2 G
1.Django Django是一个开放源代码的Web应用框架，由Python开发。采用了MTV的框架模式，即模型M，视图V和模版T。$ B/ Z9 C* k: i* B- `# U
2.Pyramid 是一个通用、开源的Python Web应用程序开发框架。它主要的目的是让Python开发者更简单的创建Web应用，相比Django，Pyramid是一个 相对小巧、快速、灵活 的开源Python Web框架。- D3 T5 U' \5 D1 j5 \
3.Tornado 一种 Web 服务器软件的开源版本。Tornado和现在的主流Web服务器框架（包括大多数Python的框架）有着明显的区别：它是非阻塞式服务器，而且速度相当快 n* j' n( I- \8 z
4.Flask 是轻量级Web应用框架，相比Django和Pyramid，它也被称为微框架 。使用Flask开发Web应用十分方便，甚至几行代码即可建立一个小型网站。Flask核心十分简单，并不直接包含诸如数据库访问等的抽象访问层，而是通过扩展模块形式来支持。3 l; `/ Q3 w5 G" Z# \2 N5 x7 k ~
五、机器学习
% |& \8 A+ P `# y1.Scikit-learn Scikit-learn是机器学习的核心程序库，依托于上面的几种工具包，封装了大量经典以及最新的机器学习模型。' H1 ~) p4 u6 i, g' i2 T+ d% M# g
2.NLTK NLTK，全称Natural Language Toolkit，自然语言处理工具包，这是一个开源项目，包含数据集、Python模块、教程等。 ]1 o+ v1 U4 j$ r2 @7 ^" X
3.Keras 是一个由Python编写的开源人工神经网络库，可以作为Tensorflow、Microsoft-CNTK和Theano的高阶应用程序接口，进行深度学习模型的设计、调试、评估、应用和可视化。
7 ^( V5 T" i. F7 C! P6 M4.Caffe 是一个兼具表达性、速度和思维模块化的深度学习框架。主要用于计算机视觉，它对图像识别的分类具有很好的应用效果。! u L# c9 d! m
5.theano 是一个 Python 库，用来定义、优化和模拟数学表达式计算，用于高效的解决多维数组的计算问题。& B3 d- k8 Q' Q
* j! F- j8 v2 Z4 {! q5 ~' \' W |
|
|手机版|小黑屋|paopaomj.COM
( 
渝ICP备18007172号|
渝公网安备50010502503914号 )
发表于 2021-6-16 19:27:11