是否可以使用Hive Streaming转换特定列?

时间:2013-08-05 19:50:28

标签: python streaming hive

以下语法有效:

SELECT TRANSFORM(col1,col2,col3) USING 'python script.py' AS col_1,col_2,col_3 FROM...

python脚本实际上只转换col3,而col1,col2只是通过python脚本而没有任何改变。我想重新使用这个python脚本,这样只要col1通过,我就可以用任意列替换col1,col2。但是以下两个代码不起作用:

SELECT col1, col2, TRANSFORM(col3) USING 'python script.py' AS col_1 FROM... 

SELECT TRANSFORM(col3) USING 'python script.py' AS col_3, col1, col2 FROM... 

如果有办法只将选定列的子集传递给流式脚本,同时使其他选定的列离开流式传输过程?

提前感谢。

1 个答案:

答案 0 :(得分:0)

这不起作用,因为转换可以返回多行。想象一下,如果某些col3的script.py返回2行(col31和col32)。语法是什么意思?返回col1,col2,col31和col1,col2,col32?