我正试图通过metrics.properties
来激发emr:
将其保存在resource
文件夹中
仅本地运行有效。看来getResourceAsStream
不适用于群集中resource
文件夹中的类。 :(
通过参数传递
这似乎将文件加载到分布式缓存中。但是如何阅读呢? Aws告诉:
要从mapper或reducer应用程序访问缓存的文件,请确保已将当前工作目录(./)添加到应用程序路径中,并引用了缓存的文件,就像它们在当前工作目录中一样。< / p>
you have added the current working directory (./) into your application path
首先是什么意思???我了解将jat添加到类路径中,但将目录添加到应用程序路径中...什么?哦
第二,SparkSession.builder.config("spark.metrics.conf", "metrics.properties")
导致FileNotFoundException
。可能是spark定义了一些“当前”文件夹,可用于获取metrics.properties
的完全通过权限吗?
有什么想法吗?有人将文件传递到emr集群吗?