我是python,pandas和hive的新手,肯定会欣赏一些提示。
我有下面的python代码,我想在hive中转换为UDF。我只想将csv作为输入,进行转换然后导出另一个csv,而不是将hive表作为输入,然后将结果导出为包含转换数据的新hive表。
Python代码:
import pandas as pd
data = pd.read_csv('Input.csv')
df = data
df = df.set_index(['Field1','Field2'])
Dummies=pd.get_dummies(df['Field3']).reset_index()
df2=Dummies.drop_duplicates()
df3=df2.groupby(['Field1','Field2']).sum()
df3.to_csv('Output.csv')