Question

我正在尝试从我的pandas数据框中获取一些元数据：我想知道有多少行在数据库的所有表中都有数据。下面的代码告诉我：

PandasError: DataFrame constructor not properly called!

但我不知道为什么。它看起来像一张没有数据的桌子，但我不明白为什么那应该是问题......

engine = sqlalchemy.create_engine("mysql+mysqldb://root:123@127.0.0.1/%s" % db)
meta = sqlalchemy.MetaData()
meta.reflect(engine)
tables = meta.tables.keys() # Fetches all table names
cnx = engine.raw_connection() # Raw connection is needed.

df = pd.read_sql('SELECT * FROM offending_table', cnx )
df = df.applymap(lambda x: np.nan if x == "" else x) # maak van alle "" een NaN

count = df.count()

table = pd.DataFrame(count, columns=['CellsWithData'])
table

完整的错误消息是：

offending_table
---------------------------------------------------------------------------
PandasError                               Traceback (most recent call last)
<ipython-input-367-f33bb79a6773> in <module>()
     14     count = df.count()
     15 
---> 16     table = pd.DataFrame(count, columns=['CellsWithData'])
     17     if len(all_tables) == 0:
     18         all_tables = table

/Library/Python/2.7/site-packages/pandas/core/frame.pyc in __init__(self, data, index, columns, dtype, copy)
    271                                          copy=False)
    272             else:
--> 273                 raise PandasError('DataFrame constructor not properly called!')
    274 
    275         NDFrame.__init__(self, mgr, fastpath=True)

PandasError: DataFrame constructor not properly called!

提供此消息的表包含几列，其中没有任何列包含数据。创建的df如下所示：

name           NaN
principal_id   NaN
diagram_id     NaN
version        NaN
definition     NaN

当我这样做时：

df.count()

我明白了：

这是预期的行为吗？

Answer 1

applymap似乎是罪魁祸首： - ）

当您有read_sql查询的空结果集时，您将获得一个空数据帧。例如：

In [2]: df = pd.DataFrame(columns=list('ABC'))

In [3]: df
Out[3]:
Empty DataFrame
Columns: [A, B, C]
Index: []

使用这个空数据帧，然后在此调用applymap时，它会被显然转换为一个系列，然后计数只会给出一个数字：

In [10]: df2 = df.applymap(lambda x: np.nan if x == "" else x)

In [11]: df2
Out[11]:
A   NaN
B   NaN
C   NaN
dtype: float64

In [12]: df2.count()
Out[12]: 0

直接在空数据帧上进行计数时会得到所需的输出：

In [13]: df.count()
Out[13]:
A    0
B    0
C    0
dtype: int64

我不确切知道为什么applymap会这样做（或者如果它是一个bug），但现在一个简单的解决方案就是在applymap之前快速执行：

if not len(df):
   df = df.applymap(lambda x: np.nan if x == "" else x)

上述问题的原因是DataFrame构造函数不接受标量作为输入数据。

数据库到数据框架并获取有关填充列的信息

1 个答案: