我在spark中有一个flatmap函数,它包含许多python函数。 我试图在本地将其中一个python函数的输出写为.txt文件。
我面临的问题是,当在yarn-client中运行应用程序时,我无法确定.txt文件在本地写入的位置,因为它可以在任何执行程序中。
如果我更改为本地模式,那么我可以在驱动程序计算机上写入.txt文件,但过程非常慢。
我不确定我是否可以使用collect()函数,因为这会运行flatmap函数的结果,而这些不是我要找的结果。
有没有办法在yarn-client模式下运行应用程序,并将该特定函数的输出写在驱动程序机器上?