标签: python apache-spark
我想使用python从Apache Spark获取已处理和未处理的数据数量。我参考了不同的在线资料,但无法理解解决方案。
解决方案的链接:- http://apache-spark-developers-list.1001551.n3.nabble.com/Registering-custom-metrics-td9030.html#a9968
How to get the total number of records processed by Spark Streaming?
这就是我的输出。我想从中获取已处理和未处理的数据。enter image description here