用户并发在Spark中不适用于hive

时间:2015-08-25 15:52:07

标签: apache-spark hive apache-spark-sql apache-hive

我已经使用Hive 0.13.1版本配置了3节点Spark(版本1.4.0)群集环境。并使用 ./ sbin / start-thriftserver.sh 启动Spark thrift服务。

多个用户正在使用具有相同端口和不同用户名的相同thrift服务。

但问题是,当一个用户执行使用mytest 等查询时。然后数据库更改会自动反映给其他用户。

1 个答案:

答案 0 :(得分:0)

您是否按照文档中提到的设置了hive并发值:

https://cwiki.apache.org/confluence/display/Hive/Hive+Transactions#HiveTransactions-ConfigurationValuestoSetforINSERT,UPDATE,DELETE

Configuration Values to Set for INSERT, UPDATE, DELETE
In addition to the new parameters listed above, some existing parameters need to be set to support INSERT ... VALUES, UPDATE, and DELETE.
Configuration key
Must be set to
hive.support.concurrency    true (default is false)
hive.enforce.bucketing  true (default is false)
hive.exec.dynamic.partition.mode    nonstrict (default is strict)