使用Spark over Java连接&从Oracle获取数据

时间:2016-09-28 14:52:20

标签: java scala apache-spark apache-spark-sql spark-dataframe

我想从Oracle&将数据转储到Amazon S3 ...我想使用Apache Spark来实现。我也知道我可以使用简单的Java编程来做同样的事情......我应该选择哪一个?这两种方法各自的优点是什么?

2 个答案:

答案 0 :(得分:0)

为此目的,Apache spark是一种过度杀伤。

  

Apache Spark™是一种用于大规模数据处理的快速通用引擎

Apache Spark不是为数据迁移而构建的。你仍然可以将它用于此目的,但它是一种过度杀伤。

您可以编写一个bash脚本或Java程序来执行相同的操作。

答案 1 :(得分:0)

您可以使用此脚本:http://alexbuz.github.io/Oracle_To_S3_Data_Uploader/。 但它仅适用于Windows。