标签： json pyspark amazon large-files aws-glue
我正在使用Amazon提供的资源创建ETL自动化管道 例如Amazon Glue进行数据转换。
当我传递1 MB JSON文件时，它会成功转换数据并以所需的JSON格式提供输出。
我对Amazon Glue如何处理较大文件（2 GB）进行了研发，但未找到预期结果。如果您对同一问题有任何想法/建议，请告诉我吗？
我正在使用PySpark自定义脚本来进行转换。