这些非常好用的的Python库你知道多少

下面给大家推荐几个我用过的，并且特别好用的项目，而不是简单的贴一下awesome python。相信很多人看完awesome python以后，只是简单的收藏一下，并没有很多帮助。

1. yagmail

Python官网上发邮件的例子(Examples - Python 2.7.13 documentation)，大家感受一下。反正我看到这一堆的import就已经被吓退场了。

如果使用yagmail，发送一个带附件的邮件，只需要2行代码：

2. requests

requests很多人都推荐过了，不过可能一些同学感受不到requests到底好在哪里。我们就以官网的例子为例简单说明，在没有request之前，如果我们要请求https://api.github.com/user，需要像下面这样：

用requests以后，做同样的事情，我们可以这样（注意，前3行代码等于上面一整段代码）：

3. psutil

psutil是用来获取操作系统监控以及进程管理的，如果你正在写一个监控系统（或脚本），赶紧去试试。这么说吧，我曾经使用psutil把网易内部的一个监控模块，从1000+行重构到了100+行。

我这里推荐的几个库，可能yagmail对最多人有用。而psutil，对专业的人士最有用。如果你要写一个监控系统，不使用psutil的话，只能直接去/proc目录下读取想用的文件进行计算，或者执行iostat、vmstat、df等linux命令获取命令输出，不管哪一种方法，都要处理很多繁琐的细节。有了psutil以后，就轻松多了。贴段代码大家感受一下：

此外，使用越来越广泛的监控工具glances（如果没用过，要不现在就是试试？），就是用psutil收集相关数据的。

4. BeautifulSoup

如果你写爬虫，还在用XPath解析HTML，那赶紧用用BeautifulSoup，比XPath好用一百倍；如果你还在用正则表达式从HTML中获取内容，BeautifulSoup能让你好用到哭。（补充：评论里大家都说XPath更好用，难道是我思维方式和大家不一样？）

BeautifulSoup是用来解析HTML的，特点就是好用，有人吐槽BeautifulSoup慢？我不在乎BeautifulSoup比XPath慢多少，我只知道，我的时间比机器的更宝贵。

例如，要找到页面中所有的links，如下所示：

例如，我在编写知乎的爬虫的时候，对于每一个用户的”关注”页面，对于每一个关注对象，有如下的tag：

所以，解析单个关注的用户代码如下所示：

有了BeautifulSoup以后，爬虫操作就变得特别简单了。脏活累活别人都帮忙做好了。

5. utils

除了开源的库以外，还有些开源项目的DataStruct.py helper.py utils.py文件，也值得看一看。里面很多好东西，都是可以直接拿过来用的。

<img src="https://pic4.zhimg.com/v2-0f15c1bee04b1ae03bbc0ef1eb13d10f_b.jpg" data-rawwidth="652" data-rawheight="600" class="origin_image zh-lightbox-thumb" width="652" data-original="https://pic4.zhimg.com/v2-0f15c1bee04b1ae03bbc0ef1eb13d10f_r.jpg">

我举几个例子。

requests中的CaseInsensitiveDict(https://github.com/kennethreitz/requests/blob/v1.2.3/requests/structures.py#L37-L109)，大家看名字就知道什么意思了，我就不多说了。

werkzeug中的LocalProxy、ImmutableList、ImmutableDict(https://github.com/pallets/werkzeug/blob/master/werkzeug/datastructures.py#L128)，其中ImmutableList和ImmutableDict大家一看就知道是什么意思，这里要说的是LocalProxy，使用LocalProxy，分分钟实现代理模式。

web.py的utils.py中各个函数和类都值得看一看（https://github.com/webpy/webpy/blob/master/web/utils.py#L48），不但可以了解好用的函数和数据结构，而且，还能够学习一下高手的Python代码。例如：

ps：web.py的作者是亚伦·斯沃茨(Aaron Swartz)，一位年少成名的计算机天才，著名社交网站Reddit联合创始人。致力于网络信息开放，却因涉嫌非法侵入麻省理工学院（MIT）和JSTOR（全称Journal Storage,存储学术期刊的在线系统）被指控，将受到最高35年监禁和100万美元罚款。该案正在认罪辩诉阶段，而亚伦·斯沃茨却于2013年1月11日在其纽约布鲁克林的寓所内，用一根皮带上吊自杀，尸体随后被女友发现，年仅26岁。