Question

我有一组excel格式文件，当excel文件加载到本地目录时需要从spark（2.0.0）读取。这里使用的版本是2.11.8。

我尝试过使用sparkSession的readstream方法，但是我无法以流方式读取。我能够静态读取excel文件：

val df = spark.read.format("com.crealytics.spark.excel").option("sheetName", "Data").option("useHeader", "true").load("Sample.xlsx")

还有其他方法可以从本地目录以流方式读取excel文件吗？

任何答案都会有所帮助。

由于

完成的更改：

val spark = SparkSession.builder().master("local[*]").config("spark.sql.warehouse.dir","file:///D:/pooja").appName("Spark SQL Example").getOrCreate()
spark.conf.set("spark.sql.streaming.schemaInference", true)
import spark.implicits._  
val dataFrame = spark.readStream.format("csv").option("inferSchema",true).option("header", true).load("file:///D:/pooja/sample.csv")
dataFrame.writeStream.format("console").start()
dataFrame.show()

更新的代码：

val spark = SparkSession.builder().master("local[*]").appName("Spark SQL Example").getOrCreate()
spark.conf.set("spark.sql.streaming.schemaInference", true)
import spark.implicits._  
val df = spark.readStream.format("com.crealytics.spark.excel").option("header", true).load("file:///filepath/*.xlsx")
df.writeStream.format("memory").queryName("tab").start().awaitTermination()
val res = spark.sql("select * from tab")
res.show()

错误：

Exception in thread "main" java.lang.UnsupportedOperationException: Data source com.crealytics.spark.excel does not support streamed reading

任何人都可以帮我解决这个问题。

Answer 1

对于流数据帧，您必须提供Schema和Current，DataStreamReader不支持选项（＆＃34; inferSchema＆＃34;，true | false）。您可以设置SQLConf设置＆＃34; spark.sql.streaming.schemaInference＆＃34;，需要在会话级别设置。

您可以参考here

在spark 2.0.0中以流式方式读取excel文件

1 个答案: