基于PyTorch重写的机器学习工具包HyperLearn

基于PyTorch重写的机器学习工具包HyperLearn，速度更快、内存使用更少，效率提高了一倍。

HyperLearn是一个基于PyTorch重写的机器学习工具包Scikit Learn，它的一些模块速度更快、需要内存更少，效率提高了一倍。

专为大数据而设计，HyperLearn可以使用50％以下的内存，并在某些模块上运行速度提高50％以上。将支持GPU，并且所有模块都是并行化的。

项目作者Daniel Han-Chen，毕业于澳大利亚新南威尔士大学，专注于AI、NLP和无监督机器学习的推荐和匹配算法。

基于HyperLearn，作者展示了如何让很多机器学习算法更快、更高效。

其中一些很酷的算法：

最小二乘法/线性回归的拟合时间相比sklearn减少70%，内存使用减少50%

由于新的并行算法，非负矩阵分解的拟合时间相比sklearn减少50%

Euclidean算法/余弦相似度算法加快40%

LSMR迭代最小二乘法时间减少50%

新的Reconstruction SVD算法——使用SVD来估算丢失的数据，比mean imputation方法好约30%稀疏矩阵运算速度提高50％——并行化

RandomizedSVD，速度加快20%~30%

New Incremental SVD和Incremental Eig，RandomizedSVD / Truncated SVD

等等

项目地址：

https://github.com/danielhanchen/hyperlearn

并且，作者写了一本电子书：Modern Big Data Algorithms，介绍了12个新算法以及一些更新的算法：

红色：新算法；绿色：更新的算法；蓝色：即将发布

让我们先大致看一下“奇异值分解”（SVD）这一章，这是最重要的算法之一。SVD将PCA、线性回归、岭回归、QDA、LDA、LSI、推荐系统、压缩算法、L2 distance等多种算法联系在一起，可以说是机器学习中最重要的算法了。

Page on SVD

Page on Reconstruction SVD

Using SVD to reconstruct missing data

提速50%+，RAM使用减少50%+

提速50%+，RAM使用减少50%+，GPU支持的重写Sklearn，使用Statsmodels组合新的算法。

HyperLearn完全用PyTorch, NoGil Numba, Numpy, panda, Scipy 和 LAPACK编写，镜像主要是Scikit Learn。HyperLearn还嵌入了统计推断方法，可以被想Scikit Learn语法(model.confidence_interval_)一样调用。

速度/内存的比较

时间表示Fit + Predict的时间。RAM(mb) = max( RAM(Fit), RAM(Predict) )

以下是N = 5000，P = 6000时的初步结果：

关键方法和目标

令人尴尬的并行循环

速度提升50％+，精简50％+

为什么Statsmodels有时会慢得让人无法忍受？

使用PyTorch的深度学习模块

代码量减少20％+，更清晰的代码

访问旧算法和令人兴奋的新算法

1. 令人尴尬的并行循环

包括内存共享，内存管理

通过PyTorch和Numba的CUDA并行性

2. 50%+ Faster, 50%+ Leaner

矩阵乘法排序：

https://en.wikipedia.org/wiki/Matrix_chain_multiplication 

Element Wise矩阵乘法将复杂度从O(n^3)降低到O(n^2)：https://en.wikipedia.org/wiki/Hadamard_product_(matrices)

将矩阵运算简化为Einstein Notation：https://en.wikipedia.org/wiki/Einstein_notation

连续评估一次性矩阵操作以减少RAM开销。

如果p >> n，则可能分解X.T优于分解X.

在某些情况下，应用QR分解SVD可能会更快。

利用矩阵的结构来计算更快（例如三角矩阵，Hermitian矩阵）。

计算 SVD(X)，然后获得pinv(X) ，有时比单纯计算pinv(X)更快

3. 为什么Statsmodels有时会慢得让人无法忍受?

对线性模型的置信度、预测区间，假设检验和拟合优度检验进行了优化。

尽可能使用 Einstein Notation和Hadamard Products。

仅计算需要计算的内容（计算矩阵对角线，而不是整个矩阵）。

修复Statsmodels在符号、速度、内存方面的问题和变量存储上的缺陷。

4. 使用PyTorch的深度学习模块

使用PyTorch创建Scikit-Learn

5. 代码量减少20％+，更清晰的代码

尽可能使用 Decorators和Functions。

直观的中层函数名称，如（isTensor，isIterable）。

通过hyperlearn.multiprocessing轻松处理并行

6. 访问旧算法和令人兴奋的新算法

矩阵补全算法——非负最小二乘法，NNMF

批相似性隐含狄利克雷分布（BS-LDA）

相关回归（Correlation Regression）

可行的广义最小二乘法FGLS

Outlier Tolerant Regression

多维样条回归（Multidimensional Spline Regression）

广义MICE

使用Uber的Pyro进行贝叶斯深度学习

《现代大数据算法》电子书下载地址：

https://github.com/danielhanchen/hyperlearn/blob/master/Modern%20Big%20Data%20Algorithms.pdf