pyspark:`SQLContext.read()`方法在第一次调用时返回数据帧,在下次调用时返回NoneType:python

时间:2018-04-03 06:57:00

标签: python pyspark

def extract_data(self,sqlctx,query,number_of_partitions,url):
    try:
        df = sqlctx.read.format('jdbc') \
            .option("driver", "org.postgresql.Driver") \
            .option("url", url) \
            .option("dbtable", "("+query+")as table_data") \
            .option("numPartitions",number_of_partitions) \
            .load()
        return df
    except Exception as e:
        print("EXCEPTION : "+str(e))

上面是我用python中的pyspark从postgreSQL中提取一些数据的方法(sqlctxSQLContext的对象)。在第一次调用时,它将df作为pyspark.sql.DataFrame对象返回。但是对于以后的调用,它将df作为NoneType对象返回。任何人都可以解释为什么这很开心?代码中是否有错误?提前致谢 !

0 个答案:

没有答案