创建/设置spark集群

时间:2016-03-23 22:15:14

标签: amazon-web-services amazon-ec2 apache-spark

我在apache网站上提到了spark文档 - http://spark.apache.org/docs/latest/ec2-scripts.html

根据文档

  

运行./spark-ec2 -k -i -s launch,你的EC2密钥对的名称(你在创建密钥对时给出的名称),是密钥对的私钥文件,是数字要启动的从属节点(首先尝试1),并且是要为您的群集提供的名称。

例如:

if( NULL != in)
{

    for (i=0;i<SIZE;++i){
        fscanf(in, "%d %d", &x[i], &y[i]);
    }

    for (i=0;i<SIZE;++i){
        printf("%4d %10d\n", x[i], y[i]);
    }


    fscanf(in, "%lf", &h);
    printf("%lf\n", h);
    fclose(in);
}

创建类型的EC2实例,其中默认类型为m1.large。我也可以使用./spark-ec2 --key-pair=awskey --identity-file=awskey.pem --region=us-west-1 --instance-type=<instance-type> --zone=us-west-1a launch my-spark-cluster 或任何其他实例创建实例。但我想要一个异构集群,其中主服务器具有更高的处理能力和更大的存储空间(如t2.micro)。奴隶实例类型应该是默认的d2.xlarge

如何提及主实例类型和从属实例类型??

0 个答案:

没有答案