我有一个疑问,我使用Spark Streaming,可以在sparkUI中看到
我在每个微批处理中获得160.000条记录,可以通过SparkUI和正在读取的偏移量看到它。(160K) 从卡夫卡读到的第一阶段,我看到了:
Total Time Across All Tasks: 39 min
Locality Level Summary: Process local: 54
**Input Size / Records: 755.2 MB / 48114**
Output: 124.8 KB / 5179
为什么输入尺寸不是160K?输入大小/记录到底是什么意思?