今天,当我第一次使用Kinesis,Firehose和Redshift学习时,我很高兴地发现亚马逊有一个“尝试我们的演示数据生成器”设置。
我很沮丧地得知它似乎并没有真正发挥作用。
所以,我去挖掘。我发现STL_LOAD_ERROR
包含错误,表明预期会有分隔符,并记录的内容看起来像{field:val,field:val}{field:val,field:val}
。
...{"TICKER_SYMBOL": | 1214 | Delimiter not found
“必须在某个地方剥离换行符,”我想。
挖掘后,我发现相关的S3存储桶中有生产记录,格式令人惊讶:
{field:val,field:val}{field:val,field:val}...
也就是说,明显记录之间没有分隔符,这些记录是每行几十K的单行文件。
Other SO posts似乎暗示这实际上是预期的数据格式。
为什么Redshift需要数据演示不使用的格式的数据?我要重新配置哪个?
答案 0 :(得分:1)
好。有三个问题。