PySpark可以使用numpy数组吗？

Question

我尝试在pyspark会话中执行以下命令：

>>> a = [1,2,3,4,5,6,7,8,9,10]
>>> da = sc.parallelize(a)
>>> da.reduce(lambda a, b: a + b)

工作得很好。我得到了预期的答案（55）。现在我尝试使用numpy数组而不是Python列表：

>>> import numpy
>>> a = numpy.array([1,2,3,4,5,6,7,8,9,10])
>>> da = sc.parallelize(a)
>>> da.reduce(lambda a, b: a + b)

结果我收到了很多错误。更具体地说，我在错误消息中多次看到以下错误：

ImportError: No module named numpy.core.multiarray

是不是安装了不是我的集群，或者pyspark无法在基础级别上使用numpy数组？

Answer 1

我有类似的问题。我在下面做了并解决了问题：

pip uninstall numpy
pip install numpy
pip install nose