将火花流数据写入RDBMS的最有效方法

时间:2016-12-21 06:28:58

标签: java apache-spark apache-spark-sql spark-streaming spark-dataframe

我正在编写一个消耗来自Kafka&写入RDBMS。我目前卡住了,因为我不知道哪种方法可以将这种流数据存储到RDBMS中。

在搜索时,我发现了一些方法 -

  1. 使用DataFrame
  2. 使用JdbcRDD
  3. 创建连接&在{rdd PreparedStatementforeachPartition()使用PreparedStatement.insertBatch()
  4. 我无法弄清楚哪一种是实现目标的最有效方法。

    存储&存储的情况也是如此。从HBase检索数据。

    任何人都可以帮我吗?

0 个答案:

没有答案
相关问题