将文件添加到dataproc上的spark驱动程序类路径文件

Question

我需要在google dataproc上为驱动程序spark classpath添加一个配置文件。

我尝试使用--files的{​​{1}}选项，但这不起作用。

有没有办法在谷歌数据交换机上做到这一点？

Answer 1

在Dataproc中，任何列为--jar的内容都将添加到类路径中，任何列为--file的内容都将在每个spark executor的工作目录中提供。即使标志是--jars，如果您要求文件位于类路径中，也应该将非jar条目放在此列表中是安全的。

Answer 2

我知道，我来不及了。为新访客发布。

可以使用Cloud Shell执行此操作。已经测试过了。

gcloud dataproc jobs submit spark --properties spark.dynamicAllocation.enabled=false --cluster=<cluster_name> --class com.test.PropertiesFileAccess --region=<CLUSTER_REGION> --files gs://<BUCKET>/prod.predleads.properties --jars gs://<BUCKET>/snowflake-common-3.1.34.jar