Question

我在不同位置有很多CSV spark.readStream，我必须使用scala检查所有这些点，我为每个流都指定了一个查询，但是当我运行作业时，我收到了此消息

java.lang.IllegalArgumentException：无法启动名称为“ query1”的查询，因为具有该名称的查询已经处于活动状态

我通过创建许多流查询来解决了这个问题：

getItemList

Answer 1

val spark = SparkSession
    .builder
    .appName("test")
    .config("spark.local", "local[*]")
    .getOrCreate()
spark.sparkContext.setCheckpointDir(path_checkpoint)
val event1 = spark  
.readStream //  
.schema(schema_a)  
.option("header", "true")    
.option("sep", ",")    
.csv(path_a) 

val query = event1.writeStream
  .outputMode("append")
  .format("console")
  .start()
   spark.streams.awaitAnyTermination()

如何检查许多火花流的来源

1 个答案: