我是Spark的新手。我在Windows 10中安装了Spark 2.3.0以便使用PySpark。 我使用Pyspark编写了一个代码,然后当我运行它时,它给了我以下警告:
WARN BLAS:61 - Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
WARN BLAS:61 - Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS
我在网上搜索并找到了一些解决方案,但步骤对我来说并不清楚,主要是针对Ubuntu而不是Windows ..
我认为解决方案是安装BLAS和LAPACK,我从这里下载了二进制包OpenBLAS https://sourceforge.net/projects/openblas/files/
但是我不知道接下来要做什么来安装它们以供Spark使用?
答案 0 :(得分:0)
这可以通过通读https://github.com/fommil/netlib-java/上的指南来解决。
很可能是以下原因之一或两者兼有:
-Pnetlib-lgpl
编译Apache spark,也没有添加com.github.fommil.netlib:all:1.1.2
作为依赖项。没有它,将不会使用任何外部库。建设是直接的,请参阅Failed to load implementation NativeSystemBLAS HiBench %PATH%
上,以便netlib可以找到它们。