我正在使用以下最小配置创建一个Spark会话:
$db->query('CREATE TABLE IF NOT EXISTS "weekData" (
"week1" INTEGER,
"week2" INTEGER,
"week3" INTEGER,
"week4" INTEGER
)');
如我所见,属性名称具有hive.metastore.uris: 'thrift://auto-hadoop-service-1.com:9083'
,我认为它可能需要多个uri。这样,如果第一个uri上的连接失败,则使用第二个uri。
下面是我的python代码:
uris
我想要实现的是,我的from pyspark.sql import SparkSession
def get_spark_session():
app_name = "Testing"
hive_uri = 'thrift://auto-hadoop-service-1.com:9083'
return SparkSession.builder.appName(app_name).config('hive.metastore.uris', hive_uri).enableHiveSupport().getOrCreate()
变量变成一个像这样的列表:
hive_uri
我该如何实现?