使用Python的Hive UDF

时间:2014-06-18 19:44:48

标签: python hadoop pandas hive

我是python,pandas和hive的新手,肯定会欣赏一些提示。

我有下面的python代码,我想在hive中转换为UDF。我只想将csv作为输入,进行转换然后导出另一个csv,而不是将hive表作为输入,然后将结果导出为包含转换数据的新hive表。

Python代码:

import pandas as pd
data = pd.read_csv('Input.csv')
df = data
df = df.set_index(['Field1','Field2'])
Dummies=pd.get_dummies(df['Field3']).reset_index()
df2=Dummies.drop_duplicates()
df3=df2.groupby(['Field1','Field2']).sum()
df3.to_csv('Output.csv')

1 个答案:

答案 0 :(得分:9)

您可以使用TRANSFORM函数来使用Python编写的UDF。详细步骤概述为herehere