将Spark fileStream与Avro数据输入结合使用

时间:2018-03-19 21:31:17

标签: hadoop apache-spark spark-streaming avro

我正在尝试使用fileStream()创建Spark Streaming应用程序。指定的文档guide

streamingContext.fileStream[KeyClass, ValueClass, InputFormatClass](dataDirectory)

我需要传递 KeyClass ValueClass InputFormatClass 。我的主要问题是我可以将这些参数用于Avro格式的数据吗?

注意:我的Avro数据已经在数据中嵌入了架构。

我找到了一个相关的问题here。然而,他们的输入是Parquet格式。

0 个答案:

没有答案