我遇到了从sparkSQL 2.2.1执行以下配置单元查询的问题。查询在hue中的hive编辑器中工作正常。我为dynamodb加载了罐子(emr-dynamodb-hadoop-4.2.0.jar和emr-dynamodb-hive-4.2.0.jar)。
问题似乎出现在语法中。我曾尝试使用this,但没有运气。
CREATE EXTERNAL TABLE schema.table
(name string, surname string, address string)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES (
"dynamodb.table.name" = "dynamodb-table",
"dynamodb.column.mapping" = "name:name,surname:surname,address:address"
);
我能够运行这个:
CREATE TABLE IF NOT EXISTS surge.threshold3 (name string, surname string, address string) USING hive
OPTIONS(
INPUTFORMAT 'org.apache.hadoop.dynamodb.read.DynamoDBInputFormat',
OUTPUTFORMAT 'org.apache.hadoop.dynamodb.write.DynamoDBOutputFormat'
)
TBLPROPERTIES (
"dynamodb.table.name" = "dynamodb-table",
"dynamodb.column.mapping" = "name:name,surname:surname,address:address"
)
LOCATION ''
但是,我找不到找到dynamodb表位置的方法。它与定位hdfs或s3完全不同。
非常感谢帮助!