使用pyspark连接到hive表

时间:2016-03-18 05:48:35

标签: python hive pyspark

我正在尝试从pyspark查询Hive表。

我使用以下陈述:

category table

我是hadoop系统的新手。 需要了解从hive表中提取一些数据并将其存储到数据帧中以进一步编写程序的正确方法是什么。

1 个答案:

答案 0 :(得分:1)

sqlCtx.sql可以访问hive表。您可以按照以下方式使用它。

my_dataframe = sqlCtx.sql("从员工中选择*")

my_dataframe.show()