Question

当我使用petl来拼写我的数据然后将其写入pandas DataFrame时，我注意到pandas自动识别类型的奇妙能力消失了。有没有办法使用petl的功能，同时还保留了熊猫自动识别数据类型的能力？

df = pd.read_csv(csvpath)

df
Out[17]: 
  cis  boom  bah   bish
0   A     1  NaN   True
1   B     4  1.0  False
2   C    11  NaN  False
df.dtypes
Out[18]: 
cis      object
boom      int64
bah     float64
bish       bool
dtype: object

tbl = etl.fromcsv(csvpath)
df2 = etl.todataframe(tbl)


df2
Out[20]: 
  cis boom bah   bish
0   A    1       TRUE
1   B    4   1  FALSE
2   C   11      FALSE
df2.dtypes
Out[21]: 
cis     object
boom    object
bah     object
bish    object
dtype: object

Answer 1

我没有使用过petl，所以我只是在这里猜测。我怀疑petl正在猜测数据类型并将这些猜测传递给Pandas ......而且我敢打赌它并不像Pandas那样擅长猜测。您可以编写一个小的包装函数，将petl数据转储到csv，然后使用pd.read_csv()将其重新吸收。这样Pandas就会被迫进行类型推断。您还可以检查csv并确保petl不会以某种奇怪的方式骚扰日期格式。

更多参与，您只能写出几百行，使用pandas读回那些，然后迭代pandas数据帧并确定行类型。然后你可以将它们分配给petl容器。

convert(tbl, 'bar', int)

Answer 2

这可能是您需要的基本方法，虽然我不知道它可能证明资源有多穷。

import petl as etl
import pandas as pd

table = etl.frompickle('temp.pickle')

print (table)

dtypes = {}
for fieldName in table.fieldnames():
    typeset = [_ for _ in list(etl.typeset(table, fieldName)) if _ != 'NoneType']
    if len(typeset) > 1:
        print ('Warning: more than one type found, using convenient value found')
    dtypes[fieldName]=typeset[0]

cols = etl.columns(table)

first = True
for fieldname in table.fieldnames():
    if first:
        df = pd.DataFrame.from_dict({fieldname: cols[fieldname]}, dtype=dtypes[fieldname])
        first = False
    else:
        column = pd.DataFrame.from_dict({fieldname: cols[fieldname]}, dtype=dtypes[fieldname])
        df = df.join(column)

print (df)

以下是您的示例的输出，略有修改。

+-----+------+------+-------+
| cis | boom | bah  | bish  |
+=====+======+======+=======+
| A   |    1 | None | True  |
+-----+------+------+-------+
| B   | None |  1.0 | False |
+-----+------+------+-------+
| C   |   11 | None | False |
+-----+------+------+-------+

  cis  boom  bah   bish
0   A     1  NaN   True
1   B  None  1.0  False
2   C    11  NaN  False

我省略了一个整数值（对于'boom'），因为整数没有NaN，我想学习如何处理这个问题。我不清楚numpy的答案是什么 - 有些答案看起来很难看 - 所以我避免了。如果没有dtype pandas的声明，就会将繁荣转变为浮动。这就是为什么我包含了练习petl排版内容的代码。这是一种非常基本的方法。如果你有包含整数和浮点值的列，那么你可能希望扩展它，以便选择float而不是整数类型并传递给pandas。

petl.todataframe（）不会自动识别数据类型

2 个答案: