pyspark中的结构化流媒体

时间:2017-04-24 07:20:39

标签: apache-spark pyspark spark-structured-streaming

尝试将数据从另一台服务器流式传输到HBase,并能够在Python中定义不同的列系列。我在Spark文档中查看过,只看到了:

writestream.format('jdbc').start('jdbc:///')

如何将相同的实现直接写入HBase,并能够将数据映射到不同的列族?

1 个答案:

答案 0 :(得分:1)

您可以使用foreach(Scala或Java)将数据写入HBase:http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#using-foreach