如何添加和读取metrics.properties以激发EMR?

时间:2019-03-19 19:27:32

标签: scala apache-spark amazon-emr

我正试图通过metrics.properties来激发emr:

将其保存在resource文件夹中

仅本地运行有效。看来getResourceAsStream不适用于群集中resource文件夹中的类。 :(

通过参数传递

enter image description here

这似乎将文件加载到分布式缓存中。但是如何阅读呢? Aws告诉:

  

要从mapper或reducer应用程序访问缓存的文件,请确保已将当前工作目录(./)添加到应用程序路径中,并引用了缓存的文件,就像它们在当前工作目录中一样。< / p>

you have added the current working directory (./) into your application path首先是什么意思???我了解将jat添加到类路径中,但将目录添加到应用程序路径中...什么?哦

第二,SparkSession.builder.config("spark.metrics.conf", "metrics.properties")导致FileNotFoundException。可能是spark定义了一些“当前”文件夹,可用于获取metrics.properties的完全通过权限吗?

有什么想法吗?有人将文件传递到emr集群吗?

0 个答案:

没有答案