有没有办法更改dataproc作业的驱动程序日志输出的位置？

Question

我想在作业完成并删除集群后以编程方式访问驱动程序日志。我可以将作业和集群ID存储在某个地方以便以后查找，但是认为只告诉dataproc将日志存储在一个众所周知的位置会更容易。有什么方法可以覆盖火花作业的驱动程序输出的位置？

Answer 1

当前不支持该功能，但是您可以在公共Dataproc file a feature request上issue tracker。

与此同时，尽管您也可以考虑在集群创建时指定自定义--bucket；在这种情况下，驱动程序输出和其他群集配置文件将进入您指定为群集配置存储区的任何存储区，而不是使用默认的dataproc创建的存储区。