更改HDInsight的ADFv2 Hive日志的路径

Question

我注意到，每当我运行任何ADFv2管道（HDInsightHive活动）时，就会在默认存储中为群集创建容器“ adfjobs”（如果尚不存在）。另外，该容器下会出现一个文件夹（由于其基于Blob而称为伪文件夹）HiveQueryJobs，该容器反过来似乎正在存储各种运行实例的日志。我们可以在ADF主动性中更改此路径吗？我还没有看到任何这样的选择。这是一个不错的选择，可以说我们希望为每次运行的日志文件（例如pipelinename / date_id）创建一个更具逻辑意义的路径。

Answer 1

不幸的是，您无法更改Azure Data Factory作业日志的位置。

默认情况下，Azure数据工厂创建一个文件夹名称“ adfjobs”来存储ADF作业日志。

“ adflogs”文件夹保存具有有意义路径的日志文件。

示例：我已提交了mapreduce作业，与此作业相关的日志文件位于路径“ adfjobs / MapReduceJobs / 04e3074c-b641-4a1d-b766-29bc48b41884 / 13_08_2019_05_13_43_619 / Status”中，该路径具有有意义的路径“ logs folder / Jobtype / RunID / Timestamp / Status of job”。

希望这会有所帮助。