apache spark phoenix连接器不支持流式读取

时间:2019-09-03 13:32:52

标签: apache apache-spark apache-spark-sql spark-streaming phoenix

我们正在尝试在Apache Spark Context中读取凤凰表数据。 第一步,可以将数据加载到内存中。 现在,由于我们正在处理凤凰表中的实时数据。我们计划流式传输正在读取的数据。

我们尝试使用以下提到的代码:-

  Dataset entityDataSet = spark.readStream()
   .format(dataFormat)
   .option("table", tablename)
   .option("zkUrl", clientUrl)
   .option("driver", driver)
   .load()
   .limit(fetchsize);

但是,当我们在纱线簇模式甚至本地模式下执行此操作时,会得到:

Caused by: org.springframework.beans.BeanInstantiationException: Failed to 
instantiate [void]: Factory method 'loadIntialPhoenixData' threw exception; 
nested exception is java.lang.UnsupportedOperationException: Data source 
org.apache.phoenix.spark does not support streamed reading
at org.springframework.beans.factory.support.SimpleInstantiationStrategy.instantiat e(SimpleInstantiationStrategy.java:185)
at org.springframework.beans.factory.support.ConstructorResolver.instantiate(ConstructorResolver.java:622)

有人对此有想法吗? 任何指针都会有所帮助。

0 个答案:

没有答案