Question

尝试使用df.loc[]在列中重新分配某些值时，我收到一个奇怪的类型转换错误，将日期时间转换为整数。

最小示例：

import numpy as np
import pandas as pd
import datetime
d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))
print(d)
d.loc[pd.notnull(d.a), 'a'] = d.a[pd.notnull(d.a)].apply(lambda x: datetime.datetime(2015,12,6))
print(d)

完整示例：

这是我的数据框（包含NaN）：

>>> df.head()

  prior_ea_date quarter
0    12/31/2015      Q2
1    12/31/2015      Q3
2    12/31/2015      Q3
3    12/31/2015      Q3
4    12/31/2015      Q2

>>> df.prior_ea_date

0         12/31/2015
1         12/31/2015
...
341486     1/19/2016
341487      1/6/2016
Name: prior_ea_date, dtype: object

我想运行以下代码行：

df.loc[pd.notnull(df.prior_ea_date), 'prior_ea_date'] = df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True)

其中dt是一个字符串到日期时间解析器，在正常运行时会给出：

>>> df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True).head()

0   2015-12-31
1   2015-12-31
2   2015-12-31
3   2015-12-31
4   2015-12-31
Name: prior_ea_date, dtype: datetime64[ns]

然而，当我运行.loc[]时，我得到以下内容：

>>> df.loc[pd.notnull(df.prior_ea_date), 'prior_ea_date'] = df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True)
>>> df.head()

         prior_ea_date quarter
0  1451520000000000000      Q2
1  1451520000000000000      Q3
2  1451520000000000000      Q3
3  1451520000000000000      Q3
4  1451520000000000000      Q2

它已将我的日期时间对象转换为整数。

为什么会这样？
如何避免此行为？

我已经设法建立一个临时工作，所以我会欣赏任何一线黑客，我想要一个熊猫风格的解决方案。

感谢。

Answer 1

我们将从第一个问题开始：如何避免此行为？

我的理解是您希望将prior_eta_date列转换为datetime对象。 Pandas风格的方法是使用to_datetime：

df.prior_ea_date = pd.to_datetime(df.prior_ea_date, format='%m/%d/%Y')
df.prior_ea_date

0   2015-12-31
1   2015-12-31
2   2015-12-31
3   2015-12-31
4   2015-12-31
5          NaT
Name: prior_ea_date, dtype: datetime64[ns]

您的第一个问题更有趣：为什么会发生这种情况？

我认为发生的事情是，当您使用df.loc[pd.notnull(df.prior_ea_date), 'prior_ea_date'] = ....时，您要在prior_ea_date列的一个切片上设置值，而不是覆盖整个列。在这种情况下，Pandas执行并默认类型转换以将右侧转换为原始prior_ea_date列的类型。请注意，那些长整数是所需日期的纪元时间。

我们可以用最小的例子看到这一点：

##
# Example of type casting on slice
##

d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))

# Column-a is still dtype: object
d.a
0    12/6/2015
1          NaN
Name: a, dtype: object

d.loc[pd.notnull(d.a), 'a'] = d.a[pd.notnull(d.a)].apply(lambda x: datetime.datetime(2015,12,6))

# Column-a is still dtype: object
d.a
0    1449360000000000000
1                    NaN
Name: a, dtype: object

##
# Example of overwriting whole column
##

d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))
d.a = pd.to_datetime(d.a, format='%m/%d/%Y')

# Column-a dtype is now datetime
d.a
0   2015-12-06
1          NaT
Name: a, dtype: datetime64[ns]

更多细节：

为了回应OP对更多底层细节的要求，我追踪了Pycharm中的调用堆栈以了解发生了什么。 TLDR的答案是：最终，将datetime dtypes转换为整数的意外行为是由于Numpy的内部行为。

d = np.datetime64('2015-12-30T16:00:00.000000000-0800')
d.astype(np.dtype(object))
#>>> 1451520000000000000L

...你能详细说明为什么在使用.loc时会发生这种类型的转换以及如何避免它......

我原来答案中的直觉是正确的。这是因为datetime对象被转换为通用object类型。这是因为loc切片上的设置会保留具有设置值的列的dtype。

使用loc设置值时，Pandas会使用indexing module中的_LocationIndexer。经过大量检查维度和条件后，行self.obj._data = self.obj._data.setitem(indexer, value)实际上设置了新值。

走进那一行，我们发现日期时间被转换为整数，line 742 pandas.core.internals.py：

values[indexer] = value

在此声明中，values是对象dtypes的Numpy ndarray。这是原始作业左侧的数据。它包含日期字符串。 indexer只是一个元组。 value是Numpy ndarray个datetime64个对象。

此操作使用Numpy自己的setitem方法，通过调用np.asarray(value, self.dtype)填充单个“单元格”。在您的情况下，self.dtype是左侧的类型：object，值参数位于各个日期时间内。

np.asarray(d, np.dtype(object))
#>>> array(1451520000000000000L, dtype=object)

......以及如何避免......
不要使用loc。如上例所示，覆盖整个列。

...我认为使用dtype = object的列会避免pandas假设对象类型。无论哪种方式，当原始列包含字符串和NaN时，为什么它应该将其转换为int，这似乎是出乎意料的。

最终，行为是由于Numpy如何实现从datetime到object的转换。现在为什么Numpy这样做呢？我不知道。这是一个很好的新问题和另一个兔子洞。

Pandas：使用`df.loc`从datetime64到int

1 个答案: