查询雅典娜表并另存为csv

时间:2020-03-23 20:00:36

标签: python python-3.x pyspark-sql pyspark-dataframes

我正在尝试使用查询从雅典娜表创建csv文件。下面是我的代码,我遇到了错误。 请帮助我。

我遇到以下错误: AttributeError:“ DataFrame”对象没有属性“ to_csv”

这是我的代码,

import boto3
import pandas as pd
import io
from io import StringIO
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from pyspark import SparkContext
from Util.glue_helper import exec_sql_query

glueContext = GlueContext(SparkContext.getOrCreate())
spark = glueContext.spark_session


def my_func(_table_name,_database):
    query_string = 'select * from '+_table_name+' '
    dataframe = exec_sql_query(query_string,database=_database)
    # Create buffer
    csv_buffer = StringIO()
    # Write dataframe to buffer
    dataframe.to_csv(csv_buffer,sep="|", header=True, index=False)
    dataframe.show()


if __name__ == "__main__":
    database_name = 'mytestdb'
    my_func('mytesttable', database_name)

0 个答案:

没有答案