Spark Streaming:我们应该监控什么才能保持流媒体的运行?

时间:2014-02-17 07:09:43

标签: hadoop streaming hdfs monitor apache-spark

我有一个在4 Core 16GB(主/工作人员)实例上运行的火花项目,现在任何人都可以告诉我要监控的所有事情是什么,以便我的群集/工作永远不会停止?

我创建了一个包含以下项目的小列表,如果您了解更多信息,请扩展列表:

  1. 监视Spark Master / Worker失败
  2. 监控HDFS的填写/下载
  3. 监控主/工作人员的网络连接
  4. 监视Spark Jobs被杀害

1 个答案:

答案 0 :(得分:1)

这是一个很好的清单。但除了那些我实际上将监视流应用程序的接收器的状态(假设你是一些非HDFS数据源),无论它们是否连接。嗯,说实话,这对于旧版本的Spark Streaming来说很棘手,因为获取接收器状态的工具并不存在。但是,使用Spark 1.0(即将发布),您可以使用org.apache.spark.streaming.StreamingListener接口来获取有关接收器状态的事件。

即将发布的Spark 1.0文档的潜行峰值是 http://people.apache.org/~tdas/spark-1.0.0-rc10-docs/streaming-programming-guide.html