BLAS库对Kubernetes上的Apache Spark的支持

时间:2018-06-21 13:02:31

标签: apache-spark docker kubernetes lapack

尽管BLAS / LAPACK库可能导致本地执行速度大大提高, 甚至在集群模式下提高Apache Spark的速度(在较小程度上due to various reasons), 我想知道在Kubernetes集群之上使用Spark的BLAS库是否真的有意义。

原因之一是,要使BLAS能够显着提高速度,就必须针对特定的本地CPU对其进行编译,而这样做可能并不那么容易。

我知道有一个similar question,它考虑将Docker映像中更一般的BLAS / LAPACK库包含在内。听到某人是否已经对此有所经验会很有趣。 由于Kubernetes也仅在2018年3月左右才得到正式支持,因此关于此的文件似乎很少甚至没有,而且像alpine这样的流行docker映像似乎对诸如glibc等必要依赖项的支持也很少。

提出一个精确的问题:在Kubernetes的Spark上使用BLAS / LAPACK甚至有意义吗?包括它的最聪明的方法是什么?

0 个答案:

没有答案