我正在使用Lambda函数将数据写入Firehose然后再写入Redshift。问题是我得到了
Redshift.DataLoadFailed:将数据加载到表中失败。检查STL_LOAD_ERRORS系统表以获取详细信息
当我查看细节时,因为
未找到分隔符
当我查看S3存储桶时,我看到我的数据写在一个长行中......应该是这样吗?我怀疑那是问题吗?
“S77”, “2018-05-21T00:05:00 + 08:00”, “0”, “S109”, “2018-05-21T00:05:00 + 08:00”, “0”,” S117" , “2018-05-21T00:05:00 + 08:00”, “0”
我想我应该看到类似的东西:
“S77”, “2018-05-21T00:05:00 + 08:00”, “0”
“S109”, “2018-05-21T00:05:00 + 08:00”, “0”
“S117”, “2018-05-21T00:05:00 + 08:00”, “0”
是吗?我在写给Redshift时做错了什么?
firehose.putRecordBatch({
DeliveryStreamName: 'raincover-nea-rainfall',
Records: chunks[0].map(item => {
console.log(item) // Something like: "S118","2018-05-21T00:10:00+08:00","0"
return {
Data: item
}
})
}, (err, data) => {
if (err) {
console.log('FAILED TO ADD CHUNK', err.message)
return //reject(err)
}
console.log('CHUNK ADDED')
console.log(data)
//resolve(data)
})