扩展pyspark的DataFrame类

时间:2018-06-15 04:47:30

标签: python pyspark apache-spark-sql

我正在尝试编写一个继承自CustomFrame类pyspark的自定义数据框对象DataFrame。这就是它的样子

from pyspark.sql import DataFrame

class CustomFrame(DataFrame):
        def __init__(self, spark_df, is_vector=False):
            self.is_vector = is_vector

df = CustomFrame(spark.createDataFrame([[1,2],[3,4]], ['a', 'b']))

但是当我运行以下内容时,     df.show(1)

我收到了一个递归错误

RecursionError: maximum recursion depth exceeded

我不确定是什么导致了这一点。我没有对它的行为做过任何改变。知道我为什么会收到这个错误吗?

0 个答案:

没有答案