无法持久保存来自pyspark的具有20万列的配置单元表

Question

尝试从PySpark编写orc表，将orc文件写入具有超过200k列的hive表，这会失败

  

org.apache.spark.sql.AnalysisException：org.apache.hadoop.hive.metadata.HiveException   ：无法更改表异常，将刷新更改刷新到数据存储区

版本信息：

• HDP-3.1
• hive-3.1
• pyspark-2.2
• Mysql-5.6（配置单元metastore）