如何在EMR集群中的Jupyter笔记本中使用自定义用户定义函数?

时间:2017-07-03 07:57:06

标签: scala apache-spark pyspark apache-spark-sql amazon-emr

我想分享我在Scala中创建的udfs与我们的数据科学家在EMR集群中使用pyspark和jupyter的其他集群。

这可能吗?怎么样?

1 个答案:

答案 0 :(得分:0)

this answer确实有帮助

创建一个超级jar,放入s3,在bootstrap动作上从s3到它本地jar文件夹,它应该工作