无法将Pandas DataFrame写入Hive表

时间:2019-07-02 06:13:21

标签: python pandas hive impala pyhive

我正在测试配置单元表和熊猫之间的读写操作。

我可以使用以下代码成功从蜂巢读取数据到熊猫数据框。

    from impala.dbapi import connect
    import pandas as pd
    conn = connect(host='myhostaddress',port=21050,kerberos_service_name='impala',
                 auth_mechanism='GSSAPI',use_ssl=True,
                  ca_cert='/opt/cloudera/...pem',
                  database='mydb'
                 )
    cursor = conn.cursor()


    df = pd.read_sql('select * from my_table',con=conn)

我能够从蜂巢到熊猫df读取桌子。

现在尝试使用以下代码将简单的dafs d写入hive表。

    test_df = pd.DataFrame({'A':[1,2,3],'B':[4,5,6]})
    test_df.to_sql('test_table',con=conn)

但是,我遇到了错误

DatabaseErrorTraceback (most recent call last)
<ipython-input-24-967eed4bac18> in<module>()
----> 1 test_df.to_sql('test_table',con=conn)
    ....
    ....
DatabaseError: Execution failed on sql: SELECT name FROM sqlite_master WHERE type='table' AND name=?;
AnalysisException: Could not resolve table reference: 'sqlite_master'<br>
unable to rollback

0 个答案:

没有答案