如何使用PySpark连接到远程MapR DB?

时间:2019-02-15 12:07:58

标签: python apache-spark pyspark mapr

我有2台安装和配置MapR的服务器。我正在使用Py-Spark来处理数据。

可以说,下面的服务器处于活动状态。

开发:dev_mapr_001(IP = xx.xx.xx.xx)

产品:prd_mapr_001(IP = zz.zz.zz.zz)

JSON表路径:/ my / json / table / path

两台服务器的Tabel路径相同。

我正在使用PySpark连接到Dev和Prd服务器。

prod_table_path = /my/json/table/path
spark = SparkSession.builder.master('spark://zz.zz.zz.zz:7077').appName("Test_Job").getOrCreate()
df = spark.loadFromMapRDB(prod_table_path)

我正在从DEV运行以上脚本以连接到PROD。而且它无法连接。

我该怎么做?

0 个答案:

没有答案