Question

所有

我正在尝试从hive2 thrift服务器将数据加载到blaze中。我想做一些类似于发布here的分析。这是我目前的流程。

import blaze as bz
import sqlalchemy
import impala

conn = connect(host='myhost.url.com', port=10000, database='mydb', user='hive', auth_mechanism='PLAIN')
engine = sqlalchemy.create_engine('hive://', creator=conn) 
data = bz.data(engine)

我能够建立连接并生成引擎，但是当我运行bz.data时它失败并出现错误

 TypeError: 'HiveServer2Connection' object is not callable

感谢任何帮助。

答案

from pyhive import import hive
import sqlalchemy
from impala.dbapi import import connect


def conn():                                               
    return connect(host='myhost.com', port=10000, database='database',        user='username', auth_mechanism='PLAIN')

engine = sqlalchemy.create_engine('hive://', creator=conn)


#Workaround
import blaze as bz


data = bz.data(engine)

Answer 1

from pyhive import import hive
import sqlalchemy
from impala.dbapi import import connect


def conn():                                               
    return connect(host='myhost.com', port=10000, database='database', user='username', auth_mechanism='PLAIN')

engine = sqlalchemy.create_engine('hive://', creator=conn)


#Workaround
import blaze as bz


data = bz.data(engine)

Answer 2

使用impyla通过SQLAlchemy连接到Impala时，我遇到了同样的问题。使conn为函数而不是将其分配给变量是可行的。

如何从hive2加载数据到blaze

2 个答案: