我有一堆不断写入日志的汇总节点(标量,直方图等)。检查点不是那么频繁,因此我经常遇到的情况是我从早于写入日志的事件的检查点恢复。当我从检查点恢复并再次开始写入日志时,究竟发生了什么?旧事件会被覆盖吗?文档对此不是很清楚。看看TensorBoard,似乎“未来”事件仍然存在。理想情况下,我想在当前<body class="about">
<!-- or -->
<body class="contact">
之前清空所有内容,然后重新开始。
答案 0 :(得分:1)
TensorBoard确实有处理这种情况的逻辑 - 它查找重启事件,并尝试使用大于重启步骤的global_step清除所有内容。 See this code。如果你仍然看到孤立的事件,这意味着某些东西不起作用 - 当你的作业从检查点重新启动时,可能没有写入SessionLog.START事件?
你能创建一个简单的repro,并在GitHub上提出问题吗?