Zeppelin：如何在PYTHONPATH中添加python文件

Question

我正在使用Spark on yarn运行zeppelin。 选项--py-files（SPARK_SUBMIT_OPTIONS）在zeppelin中不起作用。是否有替代zeppelin中的--py-files。

注意：我可以使用选项上传文件： - files但是它不会在PYTHONPATH中添加这些文件。因此，我需要在zeppelin中替换--py文件。

Answer 1

我不熟悉Zeppelin，但你可以在上下文中使用--py-files方法获得相当于addPyFile的效果（参见https://spark.apache.org/docs/1.6.1/api/python/pyspark.html）。 HTH