在AWS中部署自定义JAR失败线程“main”中的异常java.lang.IllegalArgumentException:错误的FS

时间:2016-12-17 02:47:42

标签: amazon-web-services hadoop amazon-s3 mapreduce emr

我正在尝试在AWS中部署自定义JAR(Map Reduce)。我必须从S3读取文件。 S3的路径作为命令行参数给出。群集正在运行时,我在群集的“步骤”部分中看到以下内容:

Status:FAILED
Reason:Illegal Argument.
Log File:s3://aws-logs-502743756123-us-east-1/elasticmapreduce/j-3U1NGY5JNUBK2/steps/s-O3W3I4RU4NXS/stderr.gz
Details:Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: s3n://****/input, expected: hdfs://ip-172-31-45-130.ec2.internal:8020
JAR location: s3://****/ChainMapperDriver.jar
Main class: None
Arguments: ChainMapperDriver s3://****/input s3://****/output/
Action on failure: Terminate cluster

ChainMapperDriver是Main Class的名称。

我是否必须在我编写的JAVA代码中执行任何操作来处理文件在S3中的情况?非常感谢您的帮助。

0 个答案:

没有答案