pyspark中的try和except块问题

时间:2018-03-01 08:57:36

标签: exception-handling hive pyspark apache-spark-2.1.1

我使用spark-2.1 .Below是我的代码

    delta="insert overwrite table schema1.table1 select * from schema2.table2"

    try:
             spark.sql(delta)
    except Exception as e:
             spark.sql("drop table schema2.table2")
             print("Overall load failed for schema1.table1", e)

    sqlCtx.sql("drop table schema1.table1 ")

以下是我正在尝试的内容

从另一个schema2中的另一个table2插入schema1的table1。

我把它放在一个try块中,所以如果它成功了它将会出现除了条件将丢弃表并打印消息schema1.table1的整体加载失败。

现在的问题是,每当我执行上述语句时,它都会删除模式中的表。 pyspark不是由python的try和catch

控制的

我觉得没有进入尝试它会进入catch块然后放弃

请帮助跨越这个障碍

提前致谢!

0 个答案:

没有答案