将多个hive.metastore.uris添加到SparkSession

时间:2019-05-02 11:47:52

标签: python apache-spark pyspark pyspark-sql

我正在使用以下最小配置创建一个Spark会话:

$db->query('CREATE TABLE IF NOT EXISTS "weekData" (
    "week1" INTEGER,
    "week2" INTEGER,
    "week3" INTEGER,
    "week4" INTEGER
)');

如我所见,属性名称具有hive.metastore.uris: 'thrift://auto-hadoop-service-1.com:9083' ,我认为它可能需要多个uri。这样,如果第一个uri上的连接失败,则使用第二个uri。

下面是我的python代码:

uris

我想要实现的是,我的from pyspark.sql import SparkSession def get_spark_session(): app_name = "Testing" hive_uri = 'thrift://auto-hadoop-service-1.com:9083' return SparkSession.builder.appName(app_name).config('hive.metastore.uris', hive_uri).enableHiveSupport().getOrCreate() 变量变成一个像这样的列表:

hive_uri

我该如何实现?

0 个答案:

没有答案