Question

使用pyspark hive上下文连接两个配置单元表时，我看到以下错误。

错误：

＆＃34;＆＃34;＆＃34;）文件＆＃34; /usr/hdp/2.3.4.7-4/spark/python/lib/pyspark.zip/pyspark/sql/context.py" ;, 第552行，在sql文件中＆＃34; /usr/hdp/2.3.4.7-4/spark/python/lib/py4j-0.8.2.1-src.zip/py4j/java_gateway.py" ;,第538行，调用文件＆＃34; /usr/hdp/2.3.4.7-4/spark/python/lib/pyspark.zip/pyspark/sql/utils.py" ;, 第36行，在deco文件中＆＃34; /usr/hdp/2.3.4.7-4/spark/python/lib/py4j-0.8.2.1-src.zip/py4j/protocol.py" ;, 第300行，在get_return_value py4j.protocol.Py4JJavaError：错误调用o41.sql时发生。：org.apache.spark.SparkException：Job 取消因为SparkContext已关闭EX：

lsf.registerTempTable('temp_table')

    out = hc.sql(
            """INSERT OVERWRITE TABLE AAAAAA   PARTITION (day ='2017-09-20')
               SELECT tt.*,ht.id
                FROM temp_table tt
                 JOIN hive_table ht
             ON tt.id = ht.id
        """)

还有如何参数化日？

使用pyspark hive上下文连接两个表

0 个答案: