一些 Python 代码加速工具,让代码变得更简洁更迅速!

这篇文章好学编程会提供一些优化代码的工具 。会让代码变得更简洁,或者更迅速 。
当然这些并不能代替算法设计,但是还是能让 Python/ target=_blank class=infotextkey>Python 加速很多倍 。

一些 Python 代码加速工具,让代码变得更简洁更迅速!

文章插图
其实前面讲算法的文章,也有提到过 。比如适用于双向队列的 deque,以及在合适的条件下运用 bisect 和 heapq 来提升算法的性能 。
而且前面也提到过,Python 提供了当今最高级也是最有效的排序算法(list.sort) 。
另外还有一个功能多样又迅速的散列表(dict) 。而且如果写迭代器封装、功能性代码或者是某种额外扩展的时候,或许CyToolz可以用得到 。当然在itertools 和 functools 模块中,还有很多函数可以带来很高效的代码 。
这篇文章主要讲优化单处理器的代码,下面会介绍一些一些高效的函数实现,也有已经封装好的拓展模块,还包括速度更快的 Python 解释器 。
当然多处理器版本确实能大幅提高运行效率 。如果想了解多核编程,可以从multiprocessing 模块开始 。而且也能找到非常多的关于分布式计算的第三方工具 。这里可以看一下 Python wiki 上的关于 Parallel Processing 的内容 。
接下来,好学编程会说一些关于Python 加速工具的选单 。
NumPy、SciPy、Sage 和 Pandas
先说 NumPy,它的核心是一个多维数字数组的实现 。除了这个数据结构之外,还实现了若干个函数和运算符,可以高效地进行数组运算 。并且对于被调用的次数进行了精简 。它可以被用来进行极其高效的数学运算 。
SciPy 和 Sage 都将 NumPy 内置为自身的一部分,同时内置了其他的不同的工具,从而可以用于特定科学、数学和高性能计算的模块 。
Pandas 是一个侧重于数据分析的工具 。如果处理大量半结构化数据的时候,可能也会用到 Pandas 相关的工具,比如 Blaze 。
PyPy、Pyston、Parakeet、Psyco 和 Unladen Swallow
让代码运行的更快,侵入性最小的就是使用实时编译器(JIT 编译) 。以前的话我们可以直接安装 Psyco 。安装之后导入 psyco,然后调用 psyco.full() 。代码运行速度就可以明显提升 。运行 Python 代码的时候,它可以实时监控程序,会将一部分代码编译为了机器码 。
现在好多 Psyco 等加速器的项目已经停止维护了,不过类似的功能在 PyPy 中得到了继承 。
PyPy 为了方便分析、优化和翻译,用 Python 语言将 Python 重新实现了一遍,这样就可以 JIT 编译 。而且 PyPy 可以直接将代码翻译成像 C 那样的性能更高的语言 。
Unladen Swallow 是一个 Python 的 JIT 编译器 。是 Python 解释器的一本版本,被称为底层虚拟机(LLVM) 。不过这个开发已经停止了 。
Pyston 是一个与 LLVM 平台较为接近的 Python 的 JIT 编译器 。很多时候已经优于 Python 的实现,但不过还有很多地方不完善 。
GPULib、PyStream、PyCUDA 和 PyOpenCL、
这四个都是用在图像处理单元来实现代码的加速 。前面讲的都是用代码优化来实现加速的 。而这些都是从硬件层面上进行加速,如果有一个强大的 GPU,我们可以用 GPU 来计算,从而减少 CPU 宝贵的资源 。
PyStream 古老一点 。GPULib 提供了基于 GPU 的各种形式的数据计算 。
如果用 GPU 加速自己的代码,可以用 PyCUDA 和 PyOpenCL 。
Pyrex、Cython、Numba 和 Shedskin、
这四个项目都致力于将 Python 代码翻译为 C、C++和 LLVM 的代码 。Shedskin 会将代码编译为 C++语言 。Pyrex、Cython 编译的主要目标是 C 语言 。Cython 也是 Pyrex 的一个分支 。
而且,Cython 还有 NumPy 数组的额外支持 。
如果面向数组和数学计算的时候,Numba 是更好的选择导入时会自动生成相应的 LLVM 的代码 。升级版本是 NumbaPro,还提供了对 GPU 的支持 。
【一些 Python 代码加速工具,让代码变得更简洁更迅速!】SWIG、F2PY、Boost.Python
这些工具可以将其他的语言封装为 Python 的模块 。第一个可以封装 C/C++语言 。F2PY 可以封装 Fortran 。Boost.Python 可以封装 C++语言 。
SUIG 只要启动一个命令行工具,往里面输入 C 或者 C++的头文件,封装器代码就会自动生成 。除了 Python,而且可以成为其他语言的封装器,比如 JAVA 和 php 。
ctypes、llvm-py 和 CorePy2
这些模块可以帮助我们实现Python 底层对象的操作 。ctypes 模块可以用于在内存中构建编译 C 的对象 。并且调用共享库中的 C 的函数 。不过 ctypes 已经包含在 Python 的标准库里面了 。
llvm-py 主要提供LLVM 的 Python 接口 。以便于构建代码,然后编译他们 。也可以在 Python 中构建它的编译器 。当然搞出自己编程语言也是可以的 。


推荐阅读