因此,在使用DataflowRunner时,我们使用filesToStage方法将文件暂存到GCS,但这在DirectRunner中不会发生。有没有办法让DirectRunner阶段文件到GCS并使用类似于DataflowRunner的那些文件,也许可能使用ClassLoader或其他方法?
答案 0 :(得分:1)
不,直接跑步者只是在本地运行,所以它不会将文件转移到GCS,它只是使用本地文件来运行软件。我最好的建议是编写一个工具,在两个可能的位置查找文件,通过查找文件来检测它是在dataflowrunner上运行还是在directrunner上运行