Spark Streaming阅读列中包含换行符

时间:2018-08-01 13:04:38

标签: apache-spark apache-kafka spark-streaming

我正在尝试读取通过Spark流从kafka传递的一行 传入记录有4列,其中一列包含换行符,双引号

示例

a ,b , "hi
how are you
fine
",d

那么如何通过Spark Streaming从Kafka读取数据时如何读取或需要设置哪些选项,以便可以正确读取记录?

1 个答案:

答案 0 :(得分:0)

如果您正确地将数据发送到kafka dstrean,则在使用spark传输记录时,外观应如下所示。

a,b,“嗨,你好吗”,d

现在您可以使用逗号分割记录并将值映射到pojo类以创建具有四列的数据框/数据集