使用java将Parquet文件从Lambda保存到S3

Question

我有一个用例，我需要将一个镶木地板文件从Lambda保存到S3。 我需要在追加模式下存储Lambda函数中触发的事件。

我尝试使用Avro，但它不允许将数据以追加模式存储在同一个镶木地板文件中。

直到现在，我发现只有spark允许在附加模式下将数据存储在镶木地板文件中...然后，我可以使用Lambda提交存储数据的spark作业。 您如何看待这种可能的解决方案？

但是，如果没有使用spark，真的不存在解决方案吗？ 提前致谢

Answer 1

无论格式如何，您都无法将数据附加到S3中存储的任何文件中。抱歉。这只是S3和文件系统之间的差异之一。