使用pyhive和pandas写入带有分区的hive表

时间:2018-07-24 17:24:08

标签: python pandas hive pyhive

我有一个配置单元表,该配置单元使用三列进行分区。我正在尝试从中读取一些行,对其进行修改,然后使用pyhive和pandas将它们写回到表中。从表中读取可以正常工作,但是在尝试写入时出现此错误:由于目标表已分区,因此需要指定分区列。我应该如何指定分区列?

from sqlalchemy import create_engine
import pandas as pd
engine = create_engine('hive://username@server:10000/database')
conn = hive.Connection(host="server", port=10000, username="username")
cursor = conn.cursor()
df = pd.read_sql(query, conn)
for index, row in df.iterrows():
    SOME UPDATE ON row
row.to_sql('database.tablename', con=engine, if_exists='append',index=False, index_label=None, chunksize=None, dtype=None)

0 个答案:

没有答案