运行Amazon EMR作业时出现“文件不存在”错误

Question

我上传了我的数据 genotype1_large_ind_large.txt phenotype1_large_ind_large_1.txt

到S3系统，在EMR UI中，我设置了如下参数

RunDear.run s3n：//scalability/genotype1_large_ind_large.txt s3n：//scalability/phenotype1_large_ind_large_1.txt s3n：// scalability / output_1phe 33 10 4

在我的类RunDear.run中，我将文件genotype1_large_ind_large.txt和phenotype1_large_ind_large_1.txt分发到缓存

但是，运行EMR后，我收到以下错误： java.io.FileNotFoundException：文件不存在：/ genotype1_large_ind_large.txt

我想知道为什么文件名前面有斜杠'/'？ 如何让它发挥作用？

我也尝试使用如下，但我的程序将-cacheFile作为参数，因此也不起作用，

RunDear.run -cacheFile s3n：//scalability/genotype1_large_ind_large.txt#genotype.txt -cacheFile s3n：//scalability/phenotype1_large_ind_large_1.txt#phenotype.txt s3n：// scalability / output_1phe 33 280 4

Answer 1

我终于意识到这是使用文件系统的问题，所以我在程序中添加了如下代码 FileSystem fs = FileSystem.get（URI.create（“s3：// scalability”），conf）;