Spark工作在两个不同的HDFS环境中工作

Question

我有一个要求，我需要写一个spark作业来连接Prod（Source-Hive）服务器A. 并将数据导入Local（Temp hive服务器）进行转换并将其加载回TargetProd（服务器B）

在早期的情况下，我们将目标数据库作为Oracle，因此我们使用如下所示，这将覆盖表

AAA.write.format（“jdbc”）。option（“url”，“jdbc：oracle：thin：@ // uuuuuuu：0000 / gsahgjj.yyy.com”）。option（“dbtable”，“TeST” .try_hty“）。option（”user“，”aaaaa“）。option（”password“，”dsfdss“）。option（”Truncate“，”true“）。mode（”Overwrite“）。save（）。< / p>

就从服务器A到B的SPARK覆盖而言，我们需要提供什么语法。

当我尝试通过jdbc从一个配置单元（ServerA）到服务器B建立连接时。它无法工作..请帮忙。

Answer 1

如果jdbc是远程的，则可以使用jdbc连接到配置单元。请获取您的Hive Thrift服务器URL和端口详细信息，然后通过jdbc连接。应该可以。