在Scala中加入多个s3文件在AWS Glue中编程

Question

如何在scala中加入多个s3文件？基于连接数据，我需要将数据插入或更新到MySQL数据库中。

如果有任何类型的示例脚本，请告诉我。

Answer 1

Ramesh，虽然我没有scala脚本来连接文件并导入到Mysql，但这个aws链接可能会让你想到从S3创建3个文件的不同数据帧然后根据需要加入它们，然后再进行创建处理/导入到mysql / redshift表。

1. 创建一个Glue crawler＆amp;指向3个文件，生成S3文件的数据库/表目录（参考：Setting up glue catalog/crawlers）
2. 在scala脚本中，为3个表创建数据帧，然后根据需要加入它们。

网址：Aws examples for Join&Relationalize using Scala.

由于

YUVA