Question

我有一个csv文件，其中包含用逗号而不是点编码的浮点数。我制作了一个装载浮动类型的装载脚本，但是当读取逗号时，猪不能将它转换为浮点数（他希望浮点数有点）。

如何在加载阶段按点更改逗号？我理解UDF可以成功，但是还有另一种更简单的方法吗？

感谢。

Answer 1

好的，测试这只是为了获得一些简单的数据：

1,2;2,3;4,5
5,6;6,7;7,8

猪脚本：

data = load 'commatest.csv' using PigStorage(';') as (f1:chararray, f2:chararray, f3:chararray);
replaced = foreach data generate REPLACE(f1, ',', '.') as f1dot, REPLACE(f2, ',', '.') as f2dot, REPLACE(f3, ',', '.') as f3dot;
fdata = foreach replaced generate (float)f1dot as f1, (float)f2dot as f2, (float)f3dot as f3;
dump fdata;

输出：

(1.2,2.3,4.5)
(5.6,6.7,7.8)

测试它是否真的转换为float：

test = foreach fdata generate f1*f2*f3;
dump test;

输出：

(12.42)
(292.65598)

hadoop pig - 用逗号加载漂浮物

1 个答案: