如何将表转换为Spark Dataframe

时间:2016-08-28 12:18:54

标签: apache-spark pyspark apache-spark-sql spark-dataframe

在Spark SQL中,可以使用以下方法查询数据框:

Scanner s=new Scanner(System.in);
    String[] x = new String[10];
    for(int i=0;i<10;i++)
    {   
        x[i]=s.next();
        if(x[i]==".")
            break;
    }

假设我拥有sqlContext.registerDataFrameAsTable(df, "mytable") ,我如何获取或访问此数据框?

2 个答案:

答案 0 :(得分:6)

您可以查询它并将结果保存到变量中。检查SQLContext的方法sql是否返回DataFrame

df = sqlContext.sql("SELECT * FROM mytable")

答案 1 :(得分:3)

最干净的方式:

df = sqlContext.table("mytable")

Documentation