火花流读取 postgres 或 hive

时间:2021-05-31 15:21:28

标签: postgresql hive spark-streaming

我有一个 postgres 或 hive 表,想连续或每 5 分钟从数据库中读取 dicts 以加入来自 Kafka 的流。

你能告诉我使用 Spark Streaming 的正确方法吗?

是加入类型steam 和stream 还是stream 和static?

是否可以执行以下操作:

metadataDf = spark 
    .readStream 
    .jdbc(url=jdbcUrl, 
        table = query,
        properties = connectionProperties) 

0 个答案:

没有答案