我需要在Spark Streaming中将org.apache.spark.rdd.RDD [Array [Byte]]转换为Array [Byte]

Question

我正在尝试通过kafka解析json文件到spark流。

我写了一个需要Array[Byte]的函数。

stream.foreachRDD(rdd=>
    parseAVROToString(rdd)
)

ssc.start

要使用parseAVROToString，我需要Array[Byte]。 我收到以下错误消息：

found   : org.apache.spark.rdd.RDD[Array[Byte]] required: Array[Byte] parseAVROToString(rdd)

Answer 1

你可以试试这个：

foreachRDD

但是stream.transform是一个输出操作，用于将下划线rdds保存到外部文件或数据库。我认为{{1}}可能对您的情况有用。