熊猫从CSV文件读取时如何处理时区?

时间:2019-07-25 14:25:52

标签: python pandas datetime timezone

在我的CSV文件中,有以下条目:

Local time,Open,High,Low,Close,Volume
01.01.2015 00:00:00.000 GMT+0100,1.20976,1.20976,1.20976,1.20976,0
01.01.2015 00:01:00.000 GMT+0100,1.20976,1.20976,1.20976,1.20976,0
01.01.2015 00:02:00.000 GMT+0100,1.20976,1.20976,1.20976,1.20976,0
01.01.2015 00:03:00.000 GMT+0100,1.20976,1.20976,1.20976,1.20976,0

第一列包含特定时区(GMT+01)中的日期时间。

我使用以下命令读取了CSV文件:

df = pd.read_csv(csv, sep = ',', parse_dates = ['Local time'])

结果,我得到以下信息:

0   2015-01-01 01:00:00 1.20976 1.20976 1.20976 1.20976 0.0
1   2015-01-01 01:01:00 1.20976 1.20976 1.20976 1.20976 0.0
2   2015-01-01 01:02:00 1.20976 1.20976 1.20976 1.20976 0.0
3   2015-01-01 01:03:00 1.20976 1.20976 1.20976 1.20976 0.0
4   2015-01-01 01:04:00 1.20976 1.20976 1.20976 1.20976 0.0

我们可以看到时间戳已被修改(已添加一个小时)。我的解释是时间已转换为UTC时区。不过,我不确定,因为据Google称:

  

GMT + 01是一个格林尼治标准时间(GMT)加1小时的时间偏移。

因此,GMT+01中的时间应该比UTC中的时间长1小时。因此,在UTC中应该早一小时。因此,00:00应该变成23:00,而不是01:00

我在哪里解释错误?

添加

我在使用熊猫to_datetime功能时有点过。看来这就是上述行为的原因。

如果我将其应用于与CSV格式相同的时间:

pd.to_datetime('01.01.2015 00:00:00.000 GMT+0100')

然后我得到相同的结果:

Timestamp('2015-01-01 01:00:00')

因此,如您所见,添加了1小时(与以前一样)。

但是,如果我将其应用于经过修改的格式(我认为相同):

pd.to_datetime('01.01.2015 00:00:00.000+01:00')

然后我得到另一个结果:

Timestamp('2014-12-31 23:00:00')

总结一下,GMT+0100+01:00的处理方式有所不同。这是为什么?我会误解什么吗?

添加2

因此,它看起来像是关于python如何处理时区的内容。如果我执行此命令:

pd.to_datetime('01.01.2015 00:00:00.000').tz_localize('Etc/GMT+5').tz_convert('GMT')

我明白了:

Timestamp('2015-01-01 05:00:00+0000', tz='GMT')

我希望在GMT+5时区,时间比GMT大5小时。因此,在GMT+5中应该晚一些。但是,看起来情况恰恰相反。但是为什么呢?

当我在https://time.is/GMT+5这个网站上玩游戏时,确实看到GMT + 5比GMT多了5个小时。

添加了3

我从documentation on the timezones得到了这个信息:

  

上述“ Etc / GMT *”时区提供固定的偏移量   规格,但请注意违反直觉的标志   惯例。

因此,似乎他们对直觉的反感对待。看来我已经找到了解决方案,但是现在我不确定应如何在CSV中处理“ GMT + 0100”(与Python无关),它只是从网站上下载的。关于GMT+0100的含义是否有标准约定?

1 个答案:

答案 0 :(得分:0)

pandas依赖于您的计算机区域设置和一些启发式方法。如果日期时间很奇怪,请指定确切的格式。

df = pd.read_csv(csv)
pd.to_datetime(df['Local time'], format='%d.%m.%Y %H:%M:%S.%f GMT%z')

0   2015-01-01 00:00:00+01:00
1   2015-01-01 00:01:00+01:00
2   2015-01-01 00:02:00+01:00
3   2015-01-01 00:03:00+01:00
Name: Local time, dtype: datetime64[ns, pytz.FixedOffset(60)]

许多功能不适用于支持时区的日期时间,因此您可能希望将所有内容都转换为一个时区,然后将时区完全删除:

pd.to_datetime(df['Local time'], format='%d.%m.%Y %H:%M:%S.%f GMT%z') \
    .dt.tz_convert('America/New_York') \
    .dt.tz_localize(None)