在HDFStore中存储后获取nan值

时间:2014-09-19 14:03:47

标签: python numpy pandas nan hdfstore

我使用以下代码NaN / HDFStorepython中存储包含大量pandas值的大数据集:

with get_store(work_path+'/stores/store.h5') as store:
        for chunk in reader:
            for column in column_list:
                store.append('%s' % column, chunk[column],
                             data_columns=column)

然后我想将第一列加载为numpy数组,所以我有:

array = store.select(column_list[0]).as_matrix()

问题是我得到一个没有任何初始NaN值的小数组,因为当我将数据存储在商店中时,它有点"忘记" NaN值,仅保留非NaN值及其索引。如何使用初始NaN值返回数组?

1 个答案:

答案 0 :(得分:4)

您需要传递dropna=False,请参阅here

仅供参考,您基本上是在创建一个列存储(可能更好地解决您的问题)。