将消息解析逻辑从spark转移到kafka的优势

时间:2018-03-14 09:16:21

标签: apache-spark apache-kafka spark-streaming

目前,我正在研究一个用例,该用例需要从Kafka读取JSON消息并通过Spark Streaming在Spark中处理它们。我们预计每天约有3500万条记录。有了这种加载,是否最好使用Custom Kafka Deserializer(扩展org.apache.kafka.common.serialization.Deserializer类)将解析逻辑(以及一些基于JValue的过滤逻辑)移动到Kafka。这会有任何性能开销吗? 谢谢。

0 个答案:

没有答案