我在使用hadoop时使用了MultipleInputs。在那里，我有多个Mapper分配给不同的输入。我想知道EMR是否也支持它。
在hadoop中，我这样做了。这些是我的不同文件的映射器。这里我需要这些因为我必须对不同的输入执行一些操作，这些输入应该分别识别输入并在reducer中执行单独的操作。
public static class Map1 extends Mapper<Object, Text, Text, Text> {
Text out=new Text();
Text value1= new Text();
public void map(Object key,Text value,Context context) throws IOException,InterruptedException
{
try
{
String line= value.toString();
Configuration conf=context.getConfiguration();
Float CVsTime=conf.getFloat("CVstartTime",0);
String dimension=conf.get("CVdimension");
String CVfilter=conf.get("CVfilters");
Float CVeTime=conf.getFloat("CVendTime",0);
Float CVstartTime=CVsTime;
Float CVendTime=CVeTime;
JSONParser parser = new JSONParser();
Object obj=parser.parse(line);
JSONObject jsonObject=(JSONObject)obj;
Object datasttime=jsonObject.get("client_received_start_timestamp");
String ddimension="";
Object odimension=jsonObject.get(dimension);
if(odimension!=null)
ddimension=odimension.toString();
String dst=datasttime.toString();
dst=dst.substring(0,6)+"."+dst.substring(6,dst.length());
String metric=conf.get("CVmetric");
Float tim=0.0f,/* sttime=0,endtime=0,*/CVval=0.0f;
tim=Float.parseFloat(dst.toString());
Object met=jsonObject.get(metric);
CVval=Float.parseFloat(met.toString());
int CVfiltercount = CVfilter.length() - CVfilter.replace(" ", "").length();
String CVfilters[][]=new String[CVfiltercount][];
StringTokenizer tokenizer=new StringTokenizer(CVfilter);
int k=0;
while(tokenizer.hasMoreTokens())
{
String temptoken=tokenizer.nextToken();
if(temptoken.indexOf("=")!=-1)
{
CVfilters[k]=temptoken.split("=");
CVfilters[k][1]=CVfilters[k][1].replace("\"","");
k++;
}
}
int count=k;
int flag=0;
for(int i=0;i<k;i++)
{
Object filter=jsonObject.get(CVfilters[i][0]);
if(filter==null)
{
flag=1;
break;
}
if(!filter.toString().equals(CVfilters[i][1]))
{
flag=1;
break;
}
}
if((odimension!=null)&&(CVstartTime<=tim)&&(CVendTime>=tim)&&(flag==0))
{
value1.set("key1"+" "+tim.toString()+" "+CVval.toString());
out.set(ddimension);
context.write(out,value1);
}
flag=0;
}
catch(Exception e)
{
e.printStackTrace();
}
}
}
public static class Map2 extends Mapper<Object, Text, Text, Text>
{
Text out = new Text();
Text value2= new Text();
public void map(Object key,Text value,Context context) throws IOException,InterruptedException
{
try
{
Configuration conf=context.getConfiguration();
Float CTVstartTime=conf.getFloat("CTVstartTime",0);
Float CTVendTime=conf.getFloat("CTVendTime",0);
String CTVfilter=conf.get("CTVfilters");
String dimension=conf.get("CTVdimension");
String line= value.toString();
JSONParser parser = new JSONParser();
Object obj=parser.parse(line);
JSONObject jsonObject=(JSONObject)obj;
Object datasttime=jsonObject.get("client_received_start_timestamp");
Object odimension=jsonObject.get(dimension);
String ddimension="";
if(odimension!=null)
ddimension=odimension.toString();
String dst=datasttime.toString();
dst=dst.substring(0,6)+"."+dst.substring(6,dst.length());
String metric=conf.get("CTVmetric");
Float tim=0.0f,/*sttime=0,endtime=0,*/ctvvalue=0.0f;
StringTokenizer st=new StringTokenizer(line);
tim=Float.parseFloat(dst.toString());
Object met=jsonObject.get(metric);
ctvvalue=Float.parseFloat(met.toString());
int CTVfiltercount = CTVfilter.length() - CTVfilter.replace(" ", "").length();
StringTokenizer tokenizer=new StringTokenizer(CTVfilter);
String CTVfilters[][]=new String[CTVfiltercount][];
int k=0;
while(tokenizer.hasMoreTokens())
{
String temptoken=tokenizer.nextToken();
if(temptoken.indexOf("=")!=-1)
{
CTVfilters[k]=temptoken.split("=");
CTVfilters[k][1]=CTVfilters[k][1].replace("\"","");
k++;
}
}
int count=k;
int flag=0;
for(int i=0;i<k;i++)
{
Object filter=jsonObject.get(CTVfilters[i][0]);
if(filter==null)
{
flag=1;
break;
}
if(!filter.toString().equals(CTVfilters[i][1]))
flag=1;
}
if((odimension!=null)&&(CTVstartTime<=tim)&&(CTVendTime>=tim)&&(flag==0))
{
value2.set("key2"+" "+tim.toString()+" "+ctvvalue.toString());
out.set(ddimension);
context.write(out,value2);
}
}
catch(Exception e)
{
e.printStackTrace();
}
}
}
我的主要部分，我在hadoop中使用了MultipleInputs。这里我为不同的输入设置了一个单独的mapper类，即Map1.class和Map2.class
job.setJobName("alert");
String MapPath1[]=args[1].split(",");
String MapPath2[];
MapPath2 = type.equals("comparative") ? args[2].split(",") : null;
Path outputPath;
if (MapPath2!=null)
outputPath = new Path(args[3]);
else
outputPath = new Path(args[2]);
job.setMapperClass(Map1.class);
if(type.equals("comparative"))
job.setMapperClass(Map2.class);
job.setReducerClass(Reduce.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(Text.class);
job.setOutputKeyClass(NullWritable.class);
job.setOutputValueClass(Text.class);
for(int i=0;i<MapPath1.length;i++)
MultipleInputs.addInputPath(job,new Path(MapPath1[i]),TextInputFormat.class,Map1.class);
if(type.equals("comparative"))
for(int i=0;i<MapPath2.length;i++)
MultipleInputs.addInputPath(job,new Path(MapPath2[i]),TextInputFormat.class,Map2.class);
FileOutputFormat.setOutputPath(job, outputPath);
这里我采用了两种不同的输入路径，并按照上面的定义为它们分配了不同的Mapper，它完美无缺。我被要求找出在EMR中是否可能这样做，我以前在EMR上没有做过任何事情。我试过谷歌搜索它但它找不到任何有用的东西。我想知道是否有任何与EMR相同的内容或任何解决方法。除了我不想使用（Path filePath =（（FileSplit）context.getInputSplit（））。getPath（）;）我试图找到当前输入路径以确定哪个数据块的任何地方或者它属于的文件。
感谢任何帮助。
答案 0 :(得分：1)
当然它受到支持，EMR就是您运行Hadoop的地方。您的问题相当于说“我可以在笔记本电脑和台式机上使用网络浏览器”。那就是我从你的问题中理解的。
http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-hadoop-differences.html