Question

在Cloudera中使用pyspark，我使用＆＃39; hiveContext创建数据框。然后我尝试使用hive将数据帧放入sql表。

以下是我执行此操作的代码：

from pyspark.sql import HiveContext
hiveContext = HiveContext(SpContext)

from pyspark.sql.types import StructType

schema = StructType.fromJson({'fields': [{'metadata': {},
   'name': 'Date','nullable': True,'type': 'string'},
  {'metadata': {}, 'name': 'Time', 'nullable': True, 'type': 'string'},
  {'metadata': {}, 'name': 'Global_active_power', 'nullable': True, 'type': 'integer'},
  {'metadata': {}, 'name': 'Global_reactive_power', 'nullable': True, 'type': 'string'},
  {'metadata': {},'name': 'Voltage','nullable': True,'type': 'integer'},
  {'metadata': {}, 'name': 'Global_intensity', 'nullable': True, 'type': 'integer'},
  {'metadata': {}, 'name': 'Sub_metering_1', 'nullable': True, 'type': 'string'},
  {'metadata': {}, 'name': 'Sub_metering_2', 'nullable': True, 'type': 'integer'},
  {'metadata': {}, 'name': 'Sub_metering_3', 'nullable': True, 'type': 'string'},
  ],
 'type': 'struct'})

power_cons_hive = power_cons

power_cons_hive_df=hiveContext.createDataFrame(power_cons_hive, schema)

然后我注册了一张桌子：

power_cons_hive_df.registerTempTable("mytempTable")

最后，当我执行以下代码时：

hiveContext.sql("CREATE TABLE power_consumption STORED AS ORC AS SELECT * FROM mytempTable")

我收到此错误（因为有很多错误，我显示的是初始错误块）：

Py4JJavaError: An error occurred while calling o31.sql.
: org.apache.spark.sql.AnalysisException: Hive support is required to use CREATE Hive TABLE AS SELECT;;
CreateTable CatalogTable(
    Table: `power_consumption`
    Created: Fri Jun 09 10:12:55 PDT 2017
    Last Access: Wed Dec 31 15:59:59 PST 1969
    Type: MANAGED
    Provider: hive
    Storage(InputFormat: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat, OutputFormat: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat, Serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde)), ErrorIfExists
   +- Project [Sub_metering_1#141, Sub_metering_3#143]
      +- SubqueryAlias mytemptable, `mytempTable`
         +- Project [Sub_metering_1#141, Sub_metering_3#143]
            +- Project [Sub_metering_1#141, Sub_metering_3#143]
               +- Project [Sub_metering_1#141, Sub_metering_3#143]
                  +- Project [Date#135, Time#136, Global_reactive_power#138, Sub_metering_1#141, Sub_metering_3#143]
                     +- Project [Date#135, Time#136, Global_reactive_power#138, Sub_metering_1#141, Sub_metering_3#143]
                        +- LogicalRDD [Date#135, Time#136, Global_active_power#137, Global_reactive_power#138, Voltage#139, Global_intensity#140, Sub_metering_1#141, Sub_metering_2#142, Sub_metering_3#143]

我不确定为什么会出现这种情况，因为我认为我的代码到目前为止是正确的，并且Hive已经启动并具有良好的健康状况＆＃39; Cloudera经理的状态。

感谢任何帮助。

Answer 1

尝试将选项--conf spark.sql.catalogImplementation=hive添加到spark-submit。

为什么我需要获得Hive支持＆＃34;创建表时出错？

1 个答案: