重新启动Elastic ML Job

时间:2019-07-09 21:49:33

标签: python elasticsearch elastic-stack

我正在使用elastic cloud solution并在Kibana从事ML工作。
我正在将一堆日志上传到弹性索引,然后创建ML作业以遍历索引并查找异常。
这项工作正常,我遇到了异常情况。
问题是,例如,当我将新日志上传到作业中时,例如,在上一次上传后的两天内,我没有收到新的异常。

如果我再次上载所有日志(使用最近两天的新数据来保存旧日志),然后重新创建ML作业并再次运行它,我将收到新的异常(旧的和最近两天的异常,在此期间未显示)第一次运行)。

我当前的流程如下:

  1. 将日志上传到弹性索引
  2. 使用此索引的数据Feed创建ML作业
  3. 获取结果
  4. 获取新日志(或等待几天)
  5. 将ML作业状态更改为open
  6. Upload logs to ML Job
  7. 等待几分钟(因为我要添加大约1000条新日志,所以我在等待2分钟)
  8. Flush job
  9. 等待几分钟
  10. Close job
  11. Get job results

但是问题是,如果我查看Kibana中的作业Counts标签,我会发现我在ML作业中的最新记录的日期正确(最新)。
但是我没有新的异常。
另外,在此ML作业的Counts部分中,我看到:

  

processed_field_count:649,638

  

input_field_count:651068

如果我访问Single metric viewer从事这项工作,则会发现未处理新记录。
因此,我的猜测是ML不会重新启动工作或分析新数据。

我花了很多时间来研究elastic ML documentation,却找不到重启工作的方法。
所以,问题是,如何重新启动ML作业?

0 个答案:

没有答案