Question

目前，我的数据如下所示：

1 A a
1 A b
2 B b
2 B c
3 A a
3 B b
3 C c

我想根据第一列中的数据将它们存储在不同的文件中。所以，我希望我的输出类似于这个

1.out包含

A a
A b

2.out包含

B b
B c

3.out包含

A a
B b
C c

无论如何使用带有/不带UDF的Pig来实现这个目的吗？

非常感谢。

Answer 1

我离开了我现在使用的集群，所以我无法100％确定，但这应该是在正确的道路上：

-- Assuming myData.txt is formatted like:
-- 1 A b
-- 2 B c
-- etc.
A = LOAD 'myData.txt' USING PigStorage(' ') 
                      AS (number: int, val1: chararray, val2: chararray) ;
STORE A INTO 'myOutputDir'
        -- Stores using \t as the input separator
        USING org.apache.pig.piggybank.storage.MultiStorage('myOutputDir', '0') ;

如果你这样做，那么将创建3个目录（1,2和3），在这些目录中只有与文件夹名称相同编号的文件。但是，在每个目录中都可以有许多不同的文件（每个映射器/缩减器一个）。此外，还必须存储字段0。因此，输出看起来像这样：

--myOutputDir
|
|-->1
| |-->1-00000 #Contains 1 A a
| |-->1-00001 #Contains 1 A b
|
|-->2
| |-->2-00000 #Contains 2 B b
| |-->2-00001 #Contains 2 B c
|
|-->3
| |-->3-00000 #Contains 3 A a, 3 B b
| |-->3-00001 #Contains 3 C c
|

3-00000的内容：

3   A   a
3   B   b

但是，因为您知道输出文件的名称，所以可以加载您创建的每个输出目录并根据需要对其进行格式化：

-- Repeat this for all the numbers
A3 = LOAD 'myOutputDir/3' AS (number: int, val1: chararray, val2: chararray) ;
B3 = FOREACH A3 GENERATE val1, val2 ; 
STORE B3 INTO 'myOutputDir/stripped3' ;

所以现在输出看起来像：

A    a
B    b
C    c

但是，根据映射器作业的数量，数据仍然可以分成几个文件。如果他们需要全部在同一个文件中，我建议编写一个将各部分合并在一起的脚本。我使用这样的东西（但显然更一般）：

import os
import glob
partfiles = os.path.join('myOutputDir', 'stripped3', 'part-m-[0-9]*')
with open('part-m-COMPLETE-3', 'w') as outfile:
    for myfile in glob.glob(partfiles):
        with open(myfile, 'r') as infile:
            for line in infile:
                outfile.write(line)

根据Pig中的数据将关系拆分为不同的输出文件

1 个答案: