Question

我正在运行Windows 8，并希望启动一个火花群集。我正在使用this tutorial。它没有运行Windows CLI，所以我尝试安装和使用cygwin。有了这个我能够更改环境变量并运行ec2脚本，但我收到错误：

ERROR: The identity file must be accessible only by you.
You can fix this with: chmod 400 "SpakPlaygroundKeyPair.pem"

所以我被困在这里。我在This Question看到了它被建议直接运行python文件，这实际上是我想要做的，但我不确定如何。例如运行脚本时，必须指定

之类的内容

 --key-pair=SpakPlaygroundKeyPair --identity-file=SpakPlaygroundKeyPair.pem --region=us-east-1 --zone=us-east-1a --instance-type=t2.micro launch my-spark-cluster

你如何告诉python脚本？

Answer 1

我在Windows 10上遇到了同样的问题。幸运的是，文件权限要求被编码到spark_ec2.py脚本中，并不是AWS python API的基本限制。

我最终在spark_ec2.py脚本中注释掉了以下几行：

        if not (file_mode & S_IRUSR) or not oct(file_mode)[-2:] == '00':
        print("ERROR: The identity file must be accessible only by you.", file=stderr)
        print('You can fix this with: chmod 400 "{f}"'.format(f=opts.identity_file),
              file=stderr)
        sys.exit(1)

Answer 2

只需运行建议的修复程序;像这样：

$ chmod 400 "SpakPlaygroundKeyPair.pem"

这应该只给你pem文件的读权限。

从windows启动spark ec2集群

2 个答案: