我正在尝试使用fileStream()创建Spark Streaming应用程序。指定的文档guide:
streamingContext.fileStream[KeyClass, ValueClass, InputFormatClass](dataDirectory)
我需要传递 KeyClass , ValueClass , InputFormatClass 。我的主要问题是我可以将这些参数用于Avro格式的数据吗?
注意:我的Avro数据已经在数据中嵌入了架构。
我找到了一个相关的问题here。然而,他们的输入是Parquet格式。