我有一个集群,其中有一个Spark主数据库和三个Spark工作者,用于在Cassandra上进行查询。另外,我有一个带有Java的UI应用程序,用户可以在UI小部件上插入查询字段。
由于某些用户使用我的系统,因此我同时在Cassandra上使用Spark进行了多个查询。
我知道SparkListener
可以显示工作的开始或类似的事情,但是我看不到有任何函数可以在SparkListener
上的Spark上获取当前正在运行的工作。只是有些功能可以处理某些请求,例如已开始的工作或任务或...
现在如何获取用户查询(例如,每5秒(在Java或scala中)每隔5秒在我的Spark上运行的查询数?”
我看到了以下问题,但我的问题没有解决:
Get current number of running containers in Spark on YARN
Spark - How many Executors and Cores are allocated to my spark job