在2个远程网络上连接2个Spark实例

时间:2017-01-05 10:32:11

标签: apache-spark cassandra cloud

我想加入存储在房屋数据库中的数据和存储在云端的数据(来自Amazon AWS Cassandra)。 连接应仅在房屋网络上执行。 我怎样才能做到这一点?

  • 1:在本地部署Spark并将其连接到本地数据库服务器和远程Cassandra Cloud实例,并在单个Spark上下文中连接数据。它符合要求,但意味着从云到内部网络的大量数据传输,对于涉及大量数据查询的架构没有任何意义。

  • 2:在相同的Cassandra节点上在云上部署Spark,并将数据从远程On-Premise数据库读取到Cloud Spark上下文中。 它消除了数据传输问题(内部数据库包含少量数据),但它在不安全的云环境中公开了内部部署数据。

  • 3:?

这是一个过程: Web UI - > Java API - > Cloud Cassandra加入在Spark实例上创建的前提数据库 - > Java API创建json结果 - > Web UI 谢谢!

0 个答案:

没有答案