Spark Memsql连接器不起作用

时间:2018-08-06 12:48:02

标签: apache-spark apache-spark-sql memsql

我创建一个简单的流程

 val streamFromFirstTopic = spark
      .read
      .format("kafka")
      .option("kafka.bootstrap.servers", s"$kafkaHost:9092")
      .option("startingOffsets", "earliest")
      .option("subscribe",topicNamefirst)

      .fromConfluentAvro("value", None, Some(createschemaRegistryConfs(schemaRegistryURL,topicNamefirst,valueRestResponseSchema)))(RETAIN_SELECTED_COLUMN_ONLY) // invoke the library passing over parameters to access the Schema Registry
      .toDF()


    streamFromFirstTopic
      .write
      .format("console")
      .save()

工作正常。并根据需要提供数据。 当我尝试在下面添加代码

streamFromFirstTopic
                       .write
      .format("com.memsql.spark.connector")
      .mode("error")
      .option("insertBatchSize",100)
      .save("test.test2")

Memsql仅创建表,而不保存该数据。另外在日志中,我看到数据是从kafka上传的,但是没有保存在memsql中。而且我没有看到任何错误。 哪里有问题?

0 个答案:

没有答案