如何在Qubole中传递--properties-file进行火花提交？

Question

我通过在AWS中创建集群来在Qubole中使用Spark。在 Qubole工作台 中，当我执行以下命令行时，它可以正常工作并且命令成功

/usr/lib/spark/bin/spark-submit s3://bucket-name/SparkScripts/test.py

但是，当我与--properties-file选项一起执行同一命令时

/usr/lib/spark/bin/spark-submit --properties-file s3://bucket-name/SparkScripts/properties.file s3://bucket-name/SparkScripts/test.py

它显示以下错误消息

  

Qubole> Shell命令失败，退出代码：1

     

App>进行初始化Qubole安全提供程序所需的有效配置时发生错误

     

App>线程“主”中的异常java.lang.IllegalArgumentException：要求失败：属性文件s3：/bucket-name/SparkScripts/properties.file不存在

有人可以帮我解决这个问题吗？我需要一些应用程序属性存储在Amazon S3上的单独文件中，并传递到--properties-file到我的spark程序。

Answer 1

@saravanan-Qubole当前无法从S3路径指定--properties文件。它将在59版中提供。