Windows上的Pyspark:WARN无法加载NativeSystemBLAS和NativeRefBLAS

时间:2018-05-12 21:38:35

标签: apache-spark pyspark lapack blas

我是Spark的新手。我在Windows 10中安装了Spark 2.3.0以便使用PySpark。 我使用Pyspark编写了一个代码,然后当我运行它时,它给了我以下警告:

WARN  BLAS:61 - Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
WARN  BLAS:61 - Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS

我在网上搜索并找到了一些解决方案,但步骤对我来说并不清楚,主要是针对Ubuntu而不是Windows ..

我认为解决方案是安装BLAS和LAPACK,我从这里下载了二进制包OpenBLAS https://sourceforge.net/projects/openblas/files/

但是我不知道接下来要做什么来安装它们以供Spark使用?

1 个答案:

答案 0 :(得分:0)

这可以通过通读https://github.com/fommil/netlib-java/上的指南来解决。

很可能是以下原因之一或两者兼有:

  1. 您没有使用-Pnetlib-lgpl编译Apache spark,也没有添加com.github.fommil.netlib:all:1.1.2作为依赖项。没有它,将不会使用任何外部库。建设是直接的,请参阅Failed to load implementation NativeSystemBLAS HiBench
  2. 您的系统不知道在哪里可以找到库。确保它们在%PATH%上,以便netlib可以找到它们。

同样,请阅读https://github.com/fommil/netlib-java/

上的指南