从elasticsearch-spark中检索指标

Question

在ETL级联作业结束时，我使用Hadoop metrics使用Hadoop计数器公开的elasticsearch-hadoop提取有关Elasticsearch提取的指标。

我想使用Spark做同样的事情，但我没有使用Spark connector找到与指标相关的文档。

并非总是如此，但通常情况下，我们将在EMR（Hadoop）中执行作业，因此Spark connector可能正在使用Hadoop，就像使用Cascading连接器一样。无论如何，我认为情况并非如此，因为我认为它只适用于＆＃34; MapReduce连接器类型＆＃34;像Cascading。

所以我的问题是：

1. 如何从Elasticsearch Spark连接器中提取指标？
2. 如果连接器正在使用Hadoop计数器，那么当我在Hadoop Yarn中执行它时，如何从Spark访问Hadoop计数器？

版本：

• Scala 2.11.8
• Spark 2.1
• Hadoop 2.7.2
• elasticsearch-spark-20_2.11 5.2.2

Answer 1

基本上，它没有实现。有一个ticket on Spark, opened on 01/Apr/16，仍然没有任何活动，所以没有人照顾它。

也是discussion in the ES forum，但没有解决方法。