AWS Data Pipeline - SQLActivity - 更新声明可能吗？

Question

我需要构建一个数据管道，该管道从CSV文件（存储在S3中）获取输入并在Aurora RDS表中“更新”记录。我理解批量记录插入的标准格式（开箱即用的模板），但是对于记录更新或删除，是否有任何标准方法在SqlActivity中包含这些语句？

我可以写一个更新语句，但随后引用了CSV输入的方式，它们只是问号（？），没有任何索引列的自由。

让我知道数据管道是否可以这种方式使用？如果是的话，我可以参考CSV列吗？提前谢谢！

Answer 1

您需要对包含批量更新的SQL脚本进行一些CSV预处理，然后通过对脚本的引用来调用SqlActivity。

如果您有插入，则可以使用以下命令执行此操作：

CopyActivity（http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-copyactivity.html），其中包含：

• S3DataNode作为输入

• SqlDataNode作为输出。

如果性能不是问题，那么这是您使用AWS Data Pipeline最接近现成的传输方式。

您可以参考AWS Data Pipeline文档（http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/what-is-datapipeline.html）以获取更多信息。