通过EC2将数据帧从python加载到雪花

Question

我有一个python数据框，需要将其加载到雪花表中。我通过Jupyter笔记本进行了此操作，因此能够加载数据。但是，当我在EC2中运行相同的代码时，遇到分段错误错误。我想问问是否可以使用其他方法将数据从python数据帧加载到雪花，例如创建临时CSV并通过python加载或以pyarrow格式更改它，然后通过python将其加载到雪花。请注意，我不能使用S3存储桶。

Answer 1

您最好的方法是使用write_pandas()函数，该函数将创建一个临时文件，PUT将其保存到Snowflake内部舞台，然后为您执行COPY INTO命令。

https://docs.snowflake.com/en/user-guide/python-connector-api.html#label-python-connector-api-write-pandas

但是，这不是唯一的方法，并且由于您的问题并未指定您使用的是哪种方法，所以我认为我将从最佳方法开始。如果这是您已经使用的方式，我将更新此答案。