熊猫时间戳到posix转换的奇怪行为

时间:2019-08-12 17:36:40

标签: python pandas datetime timezone

我执行以下操作:

  1. 通过apply(strptime)将熊猫数据框中的字符串datetime转换为python datetime
  2. 通过datetime方法将.timestamp()转换为posix时间戳
  3. 如果我使用datetime将posix恢复回.fromtimestamp(),则会获得不同的日期时间

这是我的时区(现在是UTC + 3),相差3个小时,所以我认为这是一种时区问题。另外,我了解到在应用时它会隐式转换为pandas.Timestamp,但是我不了解这种情况下的区别。

发生这种奇怪行为的原因是什么,我应该怎么做才能避免这种情况?实际上,在我的项目中,我需要将此熊猫时间戳与正确的poxis时间戳进行比较,现在它会出错。

下面是虚拟的可复制示例:

df = pd.DataFrame(['2018-03-03 14:30:00'], columns=['c'])
df['c'] = df['c'].apply(lambda x: datetime.datetime.strptime(x, '%Y-%m-%d %H:%M:%S'))
dt = df['c'].iloc[0]
dt
>> Timestamp('2018-03-03 14:30:00')
datetime.datetime.fromtimestamp(dt.timestamp())
>> datetime.datetime(2018, 3, 3, 17, 30)

2 个答案:

答案 0 :(得分:1)

首先,我建议在使用np.timedelta64时使用pandas dtype。在这种情况下,它使互惠变得简单。

pd.to_datetime('2018-03-03 14:30:00').value
#1520087400000000000

pd.to_datetime(pd.to_datetime('2018-03-03 14:30:00').value)
#Timestamp('2018-03-03 14:30:00')

其他方法的问题是POSIX以UTC为原点,但是fromtimestamp返回本地时间。如果您的系统不符合UTC,那么我们会遇到问题。以下方法可以解决此问题:

from datetime import datetime
import pytz

dt
#Timestamp('2018-03-03 14:30:00')

# Seemingly problematic:
datetime.fromtimestamp(dt.timestamp())
#datetime.datetime(2018, 3, 3, 9, 30)

datetime.fromtimestamp(dt.timestamp(), tz=pytz.utc)
#datetime.datetime(2018, 3, 3, 14, 30, tzinfo=<UTC>)

datetime.combine(dt.date(), dt.timetz())
#datetime.datetime(2018, 3, 3, 14, 30)

mytz = pytz.timezone('US/Eastern')  # Use your own local timezone
datetime.fromtimestamp(mytz.localize(dt).timestamp())
#datetime.datetime(2018, 3, 3, 14, 30)

答案 1 :(得分:0)

使用to_datetime函数的答案:

df = pd.DataFrame(['2018-03-03 14:30:00'], columns=['c'])
df['c'] = pd.to_datetime(df['c'].values, dayfirst=False).tz_localize('Your/Timezone')

使用日期时,应始终放置一个时区,以便在使用后更容易。

它不能解释大熊猫datetime和单独熊猫之间的区别。