在Apache Spark中,如何将数据从执行程序推送到自己的表?

时间:2017-03-31 20:41:01

标签: apache-spark spark-streaming teradata

这是针对特定用例的 - 我们正在尝试使用Spark Streaming将数据从Apache Kafka流式传输到Teradata DB。我们一直在使用JDBC驱动程序加载到Teradata中。 我们增加了执行程序的数量,并开始注意到Teradata端的阻塞。我们可以看到每个执行程序都试图将数据加载到表中,从而阻止了另一个执行程序的负载。 我们最终进行了重新分区,因此只有1个执行程序写入表中。 我想知道我们是否可以让执行者写入自己的表格。

谢谢!

0 个答案:

没有答案