Hadoop Pig：传递命令行参数

Question

有办法做到这一点吗？例如，传递要处理的文件的名称等？

Answer 1

这显示在another question中，但您可以在命令行上指明输入参数，并在加载时使用它，例如：

命令行：

  

pig -f script.pig -param input = somefile.txt

script.pig：

  

raw = LOAD'$ input'AS（...）;

请注意，如果您使用的是Amazon Web Services Elastic Map Reduce，则“$ input”是您提供的任何输入传递给脚本的内容。

Answer 2

你可以使用...
1.如果参数很少，则使用-param（-p）
2.如果有很多参数，那么使用-param_file（-m）

您可以使用任何一种方法，具体取决于命令行参数的值的性质，我在开发和测试脚本时使用-param。一旦pig脚本准备好进行批处理或通过crontab运行，我使用-param_file，这样如果需要进行任何更改，我可以轻松更新params.init文件。

man pig将向您展示所有可用选项。

-m, -param_file path to the parameter file
-p, -param key value pair of the form param=val

以下是示例代码...

students.txt（输入数据）

001,Rajiv,Reddy,21,9848022337,Hyderabad
002,siddarth,Battacharya,22,9848022338,Kolkata
003,Rajesh,Khanna,22,9848022339,Delhi
004,Preethi,Agarwal,21,9848022330,Pune
005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar
006,Archana,Mishra,23,9848022335,Chennai
007,Komal,Nayak,24,9848022334,trivendram
008,Bharathi,Nambiayar,24,9848022333,Chennai

params.init（保存所有参数的文件）

fileName='hdfs://horton/user/jgosalia/students.txt'
cityName='Chennai'

filter.pig

students = LOAD '$fileName' USING PigStorage(',') AS (id:int, firstname:chararray, lastname:chararray, age:int, phone:chararray, city:chararray);
students = FILTER students BY city == '$cityName';
DUMP students;

OPT 1：在命令行上使用params（-param或-p）＆amp;输出

pig -param fileName='hdfs://horton/user/jgosalia/students.txt' -param cityName='Chennai' filter.pig

... Trimming the logs ...

(6,Archana,Mishra,23,9848022335,Chennai)
(8,Bharathi,Nambiayar,24,9848022333,Chennai)

OPT 2：在命令行上使用params文件（-param_file或-m）＆amp;输出

pig -param_file params.init filter.pig

... Trimming the logs ...

(6,Archana,Mishra,23,9848022335,Chennai)
(8,Bharathi,Nambiayar,24,9848022333,Chennai)

注意：对文件路径使用绝对路径（作为参数和将参数文件路径提供给-param_file（-m）时）。

Answer 3

将参数传递给PIG脚本很简单。

首先使用'$'标记变量，例如$ input_file。然后使用pig -params input_file ='/ path / to / data'

将参数传递给脚本

有关详细信息，请查看此处：http://wiki.apache.org/pig/ParameterSubstitution

Answer 4

是。

您可以使用pig的param选项在命令行选项中传递参数。

--customparam.pig
--load hdfs/local fs data 
 original = load '$input' using PigStorage('$delimiter');
--filter a specific field value into another bag  
 filtered = foreach original generate $split; 
--storing data into hdfs/local fs 
  store filtered into '$output';

  

pig -x local -f customparam.pig -param input = Pig.csv -param   output = OUT / pig -param delimiter =“，” - param split ='$ 1'

了解更多信息：check this