是否可以通过一个spark上下文连接到两个不同的数据源?

时间:2019-08-28 03:44:44

标签: scala apache-spark pyspark apache-spark-sql

我是Spark的新手,我正在尝试使用PySpark连接到Hive来执行查询并将数据加载到数据框,然后将该数据写入Couchbase。基于示例,我必须创建一个Spark上下文,以便两者都能够连接到数据源。但是,我只能在脚本/会话中创建一个上下文。 使用Spark将一组数据从一个数据源移动到另一个数据源的最佳实践是什么?

0 个答案:

没有答案