Hive中的DROP TABLE(通过Spark)挂起

时间:2018-06-06 08:43:46

标签: hive pyspark

我放弃HIVE表的尝试挂起并最终被杀死,但下面有例外。我认为它可能是一个锁定,但当我尝试执行SHOW LOCKS语句时,我得到另一个异常(java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. show Locks LockManager not specified)。我事件去了Hive Metastore并检查了HIVE_LOCKS表,但它是空的。还有什么可能是问题?

18/06/06 08:07:02 WARN RetryingMetaStoreClient: MetaStoreClient lost connection. Attempting to reconnect.
org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out

1 个答案:

答案 0 :(得分:0)

所以问题确实是超时。有问题的表有大约25k的分区,丢弃的时间太长了。我解决了这个问题,首先在循环中删除所有分区,然后删除表。