Question

我编写了以下代码来读取HIVE表中的数据，以及当我尝试不运行编译错误且没有数据显示时。

   from pyspark import SparkConf, SparkContext
   from pyspark.sql import SQLContext, HiveContext, SparkSession
   import os 
   os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars hive-jdbc-2.1.0.jar   
   pyspark-shell'


   sparkConf = SparkConf().setAppName("App")
   sc = SparkContext(conf=sparkConf)
   sqlContext = SQLContext(sc)
   hiveContext = HiveContext(sc);


   source_df = hiveContext.read.format('jdbc').options(
              url='jdbc:hive2://localhost:10000/sample',
              driver='org.apache.hive.jdbc.HiveDriver',
              dbtable='abc',
              user='root',
              password='root').load()

   print source_df.show()


     When i run this, I am getting below output and not able to fetch the
    data from table.

    +--------+------+
   |abc.name|abc.id|
   +--------+------+
   +--------+------+

Answer 1

试试

df = hiveContext.read.table("your_hive_table") //reads from default db
df = hiveContext.read.table("your_db.your_hive_table") //reads from your db

你也可以

df = hiveContext.sql("select * from your_table")

我可以使用pyspark连接到Hive数据库但是当我运行我的程序数据时没有显示

1 个答案: