在sparkSQL 2.2.1中从dynamodb表创建外部配置单元表

时间:2018-02-27 17:24:26

标签: hadoop apache-spark hive apache-spark-sql

我遇到了从sparkSQL 2.2.1执行以下配置单元查询的问题。查询在hue中的hive编辑器中工作正常。我为dynamodb加载了罐子(emr-dynamodb-hadoop-4.2.0.jar和emr-dynamodb-hive-4.2.0.jar)。

问题似乎出现在语法中。我曾尝试使用this,但没有运气。

CREATE EXTERNAL TABLE schema.table 
(name string, surname string, address string)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler' 
TBLPROPERTIES (
"dynamodb.table.name" = "dynamodb-table", 
"dynamodb.column.mapping" = "name:name,surname:surname,address:address"
);

我能够运行这个:

CREATE  TABLE IF NOT EXISTS surge.threshold3 (name string, surname string, address string) USING hive
OPTIONS(
        INPUTFORMAT 'org.apache.hadoop.dynamodb.read.DynamoDBInputFormat',
        OUTPUTFORMAT 'org.apache.hadoop.dynamodb.write.DynamoDBOutputFormat'
)
TBLPROPERTIES (
        "dynamodb.table.name" = "dynamodb-table", 
        "dynamodb.column.mapping" = "name:name,surname:surname,address:address"
)
LOCATION ''

但是,我找不到找到dynamodb表位置的方法。它与定位hdfs或s3完全不同。

非常感谢帮助!

0 个答案:

没有答案