Tensorboard：如何连接到hdfs目录

Question

我使用TensorflowOnSpark训练启用了张量板的RNN模型（store_true）。摘要事件已记录在HDFS目录中。

如何使用张量板可视化RNN事件（来自hdfs目录）？

我尝试使用hdfs日志目录启动tensorboard，但它无法以消息开头：“hdfs not supported”。

如果有人有任何想法，请告诉我。

Answer 1

如果您在群集模式而非本地运行Spark，则无法通过在启动Spark作业的计算机上运行Tensorboard来查看事件。这是因为摘要将写入Spark工作人员机器的HDFS目录。

此外，如果您已成功启用Tensorboard，Spark群集将代表您启动Tensorboard，并将Tensorboard URL打印到Spark日志。

使用tensorboard可视化事件（使用TensorFlowonSpark）：

1. 使用--tensorboard标志或spark.py文件中的定义启动spark作业。

2. 确保使用参数tensorboard=store_true调用TFCluster.run（）。如果操作正确，此功能将调用启动Tensorboard的TFSparkNode.run()，并打印出Tensorboard网址here。

3. 只需访问打印到Spark日志的网址。

请注意，一旦作业成功或被杀，计算机就会终止，您的事件文件将会消失。在这种情况下，如果您仍希望在作业完成后查看Tensorboard上的事件，则可能需要将事件文件复制到本地计算机。