Python 容器使用的 5 个技巧和 2 个误区 _Python

文章插图
文 | piglei@piglei 公众号
编辑 | EarlGrey
编程派公众号授权发布
“容器”这两个字很少被 Python 技术文章提起。一看到“容器”，大家想到的多是那头蓝色小鲸鱼：Docker，但这篇文章和它没有任何关系。本文里的容器，是 Python 中的一个抽象概念，是对专门用来装其他对象的数据类型的统称。
在 Python 中，有四类最常见的内建容器类型： 列表（list）、元组（tuple）、字典（dict）、集合（set） 。通过单独或是组合使用它们，可以高效的完成很多事情。
Python 语言自身的内部实现细节也与这些容器类型息息相关。比如 Python 的类实例属性、全局变量 globals等就都是通过字典类型来存储的。
在这篇文章里，我首先会从容器类型的定义出发，尝试总结出一些日常编码的最佳实践。之后再围绕各个容器类型提供的特殊机能，分享一些编程的小技巧。

当我们谈论容器时，我们在谈些什么？我在前面给了“容器”一个简单的定义：专门用来装其他对象的就是容器。但这个定义太宽泛了，无法对我们的日常编程产生什么指导价值。要真正掌握 Python 里的容器，需要分别从两个层面入手：

底层实现：内置容器类型使用了什么数据结构？某项操作如何工作？
高层抽象：什么决定了某个对象是不是容器？哪些行为定义了容器？

下面，让我们一起站在这两个不同的层面上，重新认识容器。

底层看容器Python 是一门高级编程语言，它所提供的内置容器类型，都是经过高度封装和抽象后的结果。和“链表”、“红黑树”、“哈希表”这些名字相比，所有 Python 内建类型的名字，都只描述了这个类型的功能特点，其他人完全没法只通过这些名字了解它们的哪怕一丁点内部细节。
这是 Python 编程语言的优势之一。相比 C 语言这类更接近计算机底层的编程语言，Python 重新设计并实现了对编程者更友好的内置容器类型，屏蔽掉了内存管理等额外工作。为我们提供了更好的开发体验。
但如果这是 Python 语言的优势的话，为什么我们还要费劲去了解容器类型的实现细节呢？答案是：关注细节可以帮助我们编写出更快的代码。

写更快的代码1. 避免频繁扩充列表/创建新列表所有的内建容器类型都不限制容量。如果你愿意，你可以把递增的数字不断塞进一个空列表，最终撑爆整台机器的内存。
在 Python 语言的实现细节里，列表的内存是按需分配的[注1]，当某个列表当前拥有的内存不够时，便会触发内存扩容逻辑。而分配内存是一项昂贵的操作。虽然大部分情况下，它不会对你的程序性能产生什么严重的影响。但是当你处理的数据量特别大时，很容易因为内存分配拖累整个程序的性能。
还好，Python 早就意识到了这个问题，并提供了官方的问题解决指引，那就是：“变懒” 。
如何解释“变懒”？ range函数的进化是一个非常好的例子。
在 Python 2 中，如果你调用 range(100000000)，需要等待好几秒才能拿到结果，因为它需要返回一个巨大的列表，花费了非常多的时间在内存分配与计算上。但在 Python 3 中，同样的调用马上就能拿到结果。因为函数返回的不再是列表，而是一个类型为range的懒惰对象，只有在你迭代它、或是对它进行切片时，它才会返回真正的数字给你。
所以说，为了提高性能，内建函数 range“变懒”了。而为了避免过于频繁的内存分配，在日常编码中，我们的函数同样也需要变懒，这包括：

更多的使用 yield关键字，返回生成器对象
尽量使用生成器表达式替代列表推导表达式
- 生成器表达式： (iforinrange(100))
- 列表推导表达式： [iforinrange(100)]
尽量使用模块提供的懒惰对象：
- 使用 re.finditer替代re.findall
- 直接使用可迭代的文件对象： forlineinfp，而不是forlineinfp.readlines