迁移到Spark 1.6时出现scipy UDF错误

Question

我开始从Spark 1.5（Python）迁移到Spark 1.6，由于某种原因，以下命令不再起作用：

from scipy.stats import binom
from pyspark.sql.types import FloatType
BCDF = lambda Ps : binom.cdf(Ps[0],Ps[1],Ps[2])
sqlContext.udf.register('bcdf', BCDF, FloatType())

产生错误：

no module named _tkinter

我测试了我的scipy功能仍在工作，一切都如预期那样。

有没有人遇到过类似的问题？

最佳

Answer 1

由于某些原因导入统计数据而不是binom直接为我做了诀窍：

from scipy import stats
from pyspark.sql.types import FloatType
BCDF = lambda Ps : stats.binom.cdf(Ps[0],Ps[1],Ps[2])
sqlContext.udf.register('bcdf', BCDF, FloatType())