我有一个配置单元表,该配置单元使用三列进行分区。我正在尝试从中读取一些行,对其进行修改,然后使用pyhive和pandas将它们写回到表中。从表中读取可以正常工作,但是在尝试写入时出现此错误:由于目标表已分区,因此需要指定分区列。我应该如何指定分区列?
from sqlalchemy import create_engine
import pandas as pd
engine = create_engine('hive://username@server:10000/database')
conn = hive.Connection(host="server", port=10000, username="username")
cursor = conn.cursor()
df = pd.read_sql(query, conn)
for index, row in df.iterrows():
SOME UPDATE ON row
row.to_sql('database.tablename', con=engine, if_exists='append',index=False, index_label=None, chunksize=None, dtype=None)