牛逼！一行代码让 pandas 的 apply 速度飙到极致！
前几天，分享了一篇文章，是关于替代pandas的工具vaex。vaex利用了内存映射的原理，所以比pandas能快上几百倍，但是vaex目前功能有限，所以暂时pandas还是无法撼动的。
1. pandas提速的方法回顾
如果想要让pandas提速，东哥总结有两个方法：
1. 向量化
向量化是最优的方法，具体用法参考文章：还在抱怨pandas运行速度慢？这几个方法会颠覆你的看法。
举个例子，我们将向量化定义为使用Numpy表示整个数组而不是元素的计算。下面有两个数组：
array_1 = np.array([1,2,3,4,5])
array_2 = np.array([6,7,8,9,10])
我们希望创建一个新数组，该数组是两个数组的总和，结果应该是：
result = [7,9,11,13,15]
当然，我们也可以在Python中使用for循环将这些数组求和，但这非常慢。替代的是，Numpy允许我们直接在阵列上进行操作，这要快得多，尤其是大型阵列。
result = array_1 + array_2
2. 并行化
其次是并行化。相信大家平时对pandas使用比较多的一个功能就是apply功能，使用自带函数或者自己写个函数，可以直接对dataframe进行变换，非常香！但由于pandas的apply只是将函数应用于dataframe的每一行，只调用当个处理器，如果行数非常多，那么将非常慢。但如果我们利用多处理器并行化，将dataframe数据框分成多个部分，然后将每个部分都送到处理器，最后再将各个部分组合拼成回单个dataframe，这就快多了！如何将这两个方法结合起来，对apply功能提速？
本次给大家分享一个神器 Swifter，可以自动让apply的运行速度达到最快，并且只需要一行代码！
2. Swifter介绍
Swifter是这样做的。1. 首先，检查apply的函数是否可以向量化，如果可以，就自动使用向量化的计算（最有效果）。2. 如果无法进行向量化，那就检查使用Dask进行并行处理或仅使用普通Pandas的apply（仅使用单个内核）哪个更合理。并行化并不是一定要用的，因为并行处理的开销会使小型数据集的处理速度变慢，所以这个也需要根据数据集的大小情况具体分析。来看一张图。通过上图结果可以总结出：无论数据大小如何，使用向量化的结果几乎总是更好的，但如果无法做到向量化，那我们就退而求其次，通过并行让pandas速度最优（当数据集大小超过某个阈值的时候，红线和蓝线的交点）。太牛掰了，使用swifter可以直接为我们自动选择最佳的方式。3. 如何使用Swifter？Swifter的使用非常简单。
import pandas as pd
import swifter
df.swifter.apply(lambda x: x.sum() - x.min())
我们只需要引入swifter，然后简单的一行代码调用即可，赶快试一下这个神器！
更多相关文章
- JavaScript算法题：查找数字在数组中的索引[每日前端夜话0x69]
- 学习C的第三天-函数
- 学习C的第三天-数组
- 如何删除 JavaScript 数组中的虚值[每日前端夜话0x55]
- SQL今日一题（11）：窗口函数
- 为什么说 Python 内置函数并不是万能的？
- 给你的Excel增加正则处理函数，简直如虎添翼
- Python 之父为什么嫌弃 lambda 匿名函数？
- Python 函数为什么会默认返回 None？