如何配置hive.Connection()以通过Hive我想要的设置?

时间:2018-03-20 12:02:52

标签: python hadoop hive spyder pyhive

我在Ubuntu 17.10上运行Spyder 3.2.8。 我想传递远程集群上的Hive,使用set hive.cli.print.header=true;命令为列名命名。

这是我到目前为止所做的:

con = hive.Connection(host="name", 
                      port=some port, 
                      username="usr",
                      configuration='hive.cli.print.header = True')

设置配置的正确方法是什么,我甚至找不到一个有效的例子。

1 个答案:

答案 0 :(得分:0)

您可以尝试这样的事情

conn = hive.Connection(host =“主机”,port =“端口”,用户名=“ user”,密码=“ passwd”,auth ='LDAP',configuration = {'hive.auto.convert.join ':'false','mapred.mappers.tasks':'25','mapred.job.shuffle.input.buffer.percent':'0.50','mapreduce.map.memory.mb':'12000', 'mapreduce.reduce.memory.mb':'12000','mapred.reduce.child.java.opts':'-Xmx12000m','mapred.map.child.java.opts':'-Xmx12000m','hive .exec.reducers.bytes.per.reducer':'104857600','hive.optimize.skewjoin':'true'})