如何从Mapper中获取YARN应用程序ID?

时间:2018-07-24 14:44:36

标签: python apache-spark pyspark yarn

如何从映射器中获取纱线应用程序ID?看起来我可以从具有相同名称的环境变量中获取CONTAINER_ID,并且containerID的格式类似于应用程序ID,但并不相同。有更好的方法吗?

>>> sc.applicationId
'application_1531947999592_0024'
>>> sc.parallelize([1]).map(lambda v:os.environ['CONTAINER_ID']).collect()
['container_1531947999592_0024_01_000008']
>>>

0 个答案:

没有答案