我正在尝试从MQTT Broker进行SQL结构化流传输:
pimpl
这些命令看起来不错,但是当我尝试编写流时,出现错误:
test = spark.readStream.format("org.apache.bahir.sql.streaming.mqtt.MQTTStreamSourceProvider")\
.option("clientId", "experiment")\
.option("brokerUrl","tcp://<broker>:1883")\
.option("topic",'#')\
.option('QoS',0)\
.option('connectionTimeout',0)\
.option('keepAlive',5)\
.option('autoReconnect',True)\
.option('persistence','memory')\
.load()
PARQUET_PATH="/tmp"
test.writeStream.format("parquet")\
.option('checkpointLocation', PARQUET_PATH + "/_chk")\
.start(PARQUET_PATH)
有人有这样的错误吗?我已经尝试了一切,但没有超越。
我正在使用Spark 2.4.0,Scala 2.11和org.apache.bahir:spark-sql-streaming-mqtt_2.11:2.4.0-SNAPSHOT