从Firehose写入Redshift

时间:2018-05-21 15:08:35

标签: node.js aws-lambda amazon-redshift amazon-kinesis amazon-kinesis-firehose

我正在使用Lambda函数将数据写入Firehose然后再写入Redshift。问题是我得到了

  

Redshift.DataLoadFailed:将数据加载到表中失败。检查STL_LOAD_ERRORS系统表以获取详细信息

当我查看细节时,因为

  

未找到分隔符

当我查看S3存储桶时,我看到我的数据写在一个长行中......应该是这样吗?我怀疑那是问题吗?

  

“S77”, “2018-05-21T00:05:00 + 08:00”, “0”, “S109”, “2018-05-21T00:05:00 + 08:00”, “0”,” S117" , “2018-05-21T00:05:00 + 08:00”, “0”

我想我应该看到类似的东西:

  

“S77”, “2018-05-21T00:05:00 + 08:00”, “0”

     

“S109”, “2018-05-21T00:05:00 + 08:00”, “0”

     

“S117”, “2018-05-21T00:05:00 + 08:00”, “0”

是吗?我在写给Redshift时做错了什么?

firehose.putRecordBatch({
    DeliveryStreamName: 'raincover-nea-rainfall',
    Records: chunks[0].map(item => {
        console.log(item) // Something like: "S118","2018-05-21T00:10:00+08:00","0"
        return { 
            Data: item
        }
    })
}, (err, data) => {
    if (err) {
        console.log('FAILED TO ADD CHUNK', err.message)
        return //reject(err)
    }
    console.log('CHUNK ADDED')
    console.log(data)
    //resolve(data)
})

0 个答案:

没有答案