将tsv文件导入dynamoDB

时间:2019-01-12 00:28:31

标签: dataset amazon-dynamodb

我有一个数据集,该数据集来自AWS上开放数据的注册表。 This是我的数据集的链接。我想将此数据集导入DynamoDb表中,但我不知道该怎么做

我尝试使用从S3存储桶到dynamoDB的数据管道,但是没有用

  

在javax.security.auth.Subject.doAs(Subject.java:422)在   org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1836)   在org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:169)导致   发件人:com.google.gson.stream.MalformedJsonException:预期为::   第1行第20列位于   com.google.gson.stream.JsonReader.syntaxError(JsonReader.java:1505)在   com.google.gson.stream.JsonReader.doPeek(JsonReader.java:519)在   com.google.gson.stream.JsonReader.peek(JsonReader.java:414)在   com.google.gson.internal.bind.ReflectiveTypeAdapterFactory $ Adapter.read(ReflectiveTypeAdapterFactory.java:157)   在   com.google.gson.internal.bind.TypeAdapterRuntimeTypeWrapper.read(TypeAdapterRuntimeTypeWrapper.java:40)   在   com.google.gson.internal.bind.MapTypeAdapterFactory $ Adapter.read(MapTypeAdapterFactory.java:187)   在   com.google.gson.internal.bind.MapTypeAdapterFactory $ Adapter.read(MapTypeAdapterFactory.java:145)   at com.google.gson.Gson.fromJson(Gson.java:803)...还有15个例外   在线程“主” java.io中。

我有此错误,我不知道如何解决。 而不是我在本地下载文件,但无法将其导入到dynamoDb

的表中

目前没有代码,我要做的只是配置

我希望将数据设置到我的表中,但不幸的是我无法达到目标

1 个答案:

答案 0 :(得分:0)

最后,我使用python脚本将TSV文件转换为CSV文件,然后转换为Json文件。 有了Json文件,就容易多了