同时获取Spark上正在运行的查询队列的数量

时间:2019-01-04 06:47:45

标签: java scala apache-spark

我有一个集群,其中有一个Spark主数据库和三个Spark工作者,用于在Cassandra上进行查询。另外,我有一个带有Java的UI应用程序,用户可以在UI小部件上插入查询字段。

由于某些用户使用我的系统,因此我同时在Cassandra上使用Spark进行了多个查询。

我知道SparkListener可以显示工作的开始或类似的事情,但是我看不到有任何函数可以在SparkListener上的Spark上获取当前正在运行的工作。只是有些功能可以处理某些请求,例如已开始的工作或任务或...

现在如何获取用户查询(例如,每5秒(在Java或scala中)每隔5秒在我的Spark上运行的查询数?”

我看到了以下问题,但我的问题没有解决:

Get current number of running containers in Spark on YARN

Spark - How many Executors and Cores are allocated to my spark job

0 个答案:

没有答案