如何使用java jar访问EMR上的本地文件？

Question

是否可以将文件从s3复制到EMR本地存储并通过java jar访问它？如果是，我们如何知道它复制文件的哪个EMR节点？ （这是必需的，因为java jar需要与文件在同一个盒子上？）

Answer 1

您是否尝试过SCP客户端？您可以执行以下操作，将文件从s3复制到EMR主节点：

aws s3 cp s3://yourBucket/folder/object ./
scp -i yourKey.pem ./object hadoop@ec2-xx-xx-xx-xx.us-west-2.compute.amazonaws.com:/pathToWhereYouWantToStoreFileOnEMRLocal/

或者，您可以通过SSH连接到EMR群集的主节点，然后使用AWS CLI命令将文件从S3复制到本地文件系统。