含义输入记录Spark

时间:2018-08-14 08:50:51

标签: spark-streaming

我有一个疑问,我使用Spark Streaming,可以在sparkUI中看到

我在每个微批处理中获得160.000条记录,可以通过SparkUI和正在读取的偏移量看到它。(160K) 从卡夫卡读到的第一阶段,我看到了:

Total Time Across All Tasks: 39 min
Locality Level Summary: Process local: 54
**Input Size / Records: 755.2 MB / 48114**
Output: 124.8 KB / 5179

为什么输入尺寸不是160K?输入大小/记录到底是什么意思?

0 个答案:

没有答案