在AWS lambda函数中从s3读取块中的csv文件

时间:2018-04-03 22:06:26

标签: javascript c# node.js csv aws-lambda

我正在尝试实现步骤函数或递归aws lambda函数我的基本思想是从s3读取带有范围字节的csv文件并处理记录然后使用更新的开始和结束偏移调用我的下一个lambda函数来读取下一个块问题是,当我这样做时,csv文件有时会分隔在行之间我很难重建偏移量来读取是否有人有任何想法或指针如何解决这种情况

1 个答案:

答案 0 :(得分:1)

如何读取一系列字节 xy ,向后退步以查找最后一个换行位置并将 y 值更改为该字节并丢弃后的字节那。然后,您的下一个范围请求从 y +1开始。