我创建一个简单的流程
val streamFromFirstTopic = spark
.read
.format("kafka")
.option("kafka.bootstrap.servers", s"$kafkaHost:9092")
.option("startingOffsets", "earliest")
.option("subscribe",topicNamefirst)
.fromConfluentAvro("value", None, Some(createschemaRegistryConfs(schemaRegistryURL,topicNamefirst,valueRestResponseSchema)))(RETAIN_SELECTED_COLUMN_ONLY) // invoke the library passing over parameters to access the Schema Registry
.toDF()
streamFromFirstTopic
.write
.format("console")
.save()
工作正常。并根据需要提供数据。 当我尝试在下面添加代码
streamFromFirstTopic
.write
.format("com.memsql.spark.connector")
.mode("error")
.option("insertBatchSize",100)
.save("test.test2")
Memsql仅创建表,而不保存该数据。另外在日志中,我看到数据是从kafka上传的,但是没有保存在memsql中。而且我没有看到任何错误。 哪里有问题?