开发端点中的AWS Glue数据目录

时间:2019-09-16 15:22:00

标签: amazon-web-services aws-glue aws-glue-data-catalog

我一直在尝试使用JSON作为CLI命令的输入来创建一个支持AWS Glue Catalog的Glue开发端点。使用控制台创建开发时,在添加端点页面的目录选项组中,出现一个复选框:“将胶水数据目录用作Hive Metastore”。

但是,从CLI进行此操作时出现错误,基本上,它告诉我该参数不存在,即使它是从文档中复制并粘贴的。

建议使用JSON创建启用了数据目录的开发端点:

{
    "EndpointName": "Name",
    "RoleArn": "role_ARN",
    "PublicKey": "public_key_contents",
    "NumberOfNodes": 2,
    "Arguments": {
      "--enable-glue-datacatalog": ""
    },
    "ExtraJarsS3Path": "s3://crawler-public/json/serde/json-serde.jar"
}

参考:https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-glue-data-catalog-hive.html

命令:

aws glue create-dev-endpoint --cli-input-json file://c:\temp\create-dev-endpoint.json

输出:

Parameter validation failed:
Unknown parameter in input: "Arguments", must be one of: EndpointName, RoleArn, SecurityGroupIds, SubnetId, PublicKey, PublicKeys, NumberOfNodes, ExtraPythonLibsS3Path, ExtraJarsS3Path, SecurityConfiguration

我在这里做错什么了吗?

谢谢您的帮助。

0 个答案:

没有答案