如何使用雪花和python从熊猫数据框创建Spark数据框？

Question

我有一个sql，它存储在python中的变量中，我们使用SnowFlake数据库。首先，我已经使用sql转换为Pandas Data框架，但是我需要转换为Spark数据框架，然后存储在CreateorReplaceTempView中。我尝试过：

    import pandas as pd
    import sf_connectivity (we have a code for establishing connection with Snowflake database)
    emp = 'Select * From Employee'
    snowflake_connection = sf_connectivity.collector() (It is a method to establish snowflake conenction)
    pd_df = pd.read_sql_query(emp, snowflake_connection)
    requirement 1: Create SnowFlake Dataframe (sf_df) from Pandas Dataframe (pd_df)
    requirement 2: sf_df.createOrReplaceTempView(Temp_Employee)

我该如何进行这项工作？

Answer 1

根据我在上述问题中的评论，您最好使用Snowflake Spark连接器将数据直接加载到Spark中的Dataframe中。这是文档的链接，详细说明了如何执行此操作：

https://docs.snowflake.com/en/user-guide/spark-connector-use.html#moving-data-from-snowflake-to-spark