Python Pandas - Dataframe可以有多个索引吗?

时间:2017-02-03 11:40:32

标签: python csv pandas indexing dataframe

我有一个CSV格式的数据集,我读过:

df = pd.read_csv(requestfile, header=[0,1], parse_dates= [0])

以下数据帧采用以下格式[0..8759]:

                   time output direct diffuse temperature
                 UTC     kW  kW/m2   kW/m2       deg C
0    2014-01-01 00:00:00  0.000  0.000   0.000       1.495
1    2014-01-01 01:00:00  0.000  0.000   0.000       1.543
2    2014-01-01 02:00:00  0.000  0.000   0.000       1.517

现在我想使用https://github.com/renewables-ninja/gsee(gsee.pv.run_plant_model)来处理它,但是我收到以下错误:

File "C:\Data\Solar\gsee-master\gsee\trigon.py", line 183, in aperture_irradiance
sunrise_set_times = sun_rise_set_times(direct.index, coords)

File "C:\Data\Solar\gsee-master\gsee\trigon.py", line 56, in sun_rise_set_times
dtindex = pd.DatetimeIndex(datetime_index.to_series().map(pd.Timestamp.date).unique())

File "C:\Users\XX\Anaconda3\lib\site-packages\pandas\core\series.py", line 2177, in map
new_values = map_f(values, arg)

File "pandas\src\inference.pyx", line 1207, in pandas.lib.map_infer (pandas\lib.c:66124)
TypeError: descriptor 'date' requires a 'datetime.datetime' object but received a 'int'

所以我假设错误在我的默认索引中,所以我修改了CSV读数以使用'time'列作为索引:

df = pd.read_csv(requestfile, header=[0,1], index_col=0, parse_dates= [0])

time                output direct diffuse temperature
UTC                     kW  kW/m2   kW/m2       deg C
2014-01-01 00:00:00  0.000  0.000   0.000       1.495
2014-01-01 01:00:00  0.000  0.000   0.000       1.543

现在我得到的错误如下:

File "C:\Users\XX\Anaconda3\lib\site-packages\pandas\core\frame.py", line 402, in _init_dict
return _arrays_to_mgr(arrays, data_names, index, columns, dtype=dtype)

File "C:\Users\XX\Anaconda3\lib\site-packages\pandas\core\frame.py", line 5398, in _arrays_to_mgr
index = extract_index(arrays)

File "C:\Users\XX\Anaconda3\lib\site-packages\pandas\core\frame.py", line 5437, in extract_index
raise ValueError('If using all scalar values, you must pass'

ValueError: If using all scalar values, you must pass an index

因此,如果我理解正确,第一个错误是因为我的索引只是INT中的数字[0..8759],它应该是datetime格式,而我的第二个错误是因为我的索引是datetime-format并且

index = extract_index(arrays)

没有原始索引[0..8759]。或者我完全理解标量值错误错误?是否可以为DataFrame提供2个索引,一个[0..8759]和其他['time'] - 列?如何将其转换为pd.read_csv函数或其他方法?

如果有任何帮助,我也会使用DataFrame执行以下操作(当我调用DataFrame df时,它不显示某些初学者错误)(但它们由run_plant_model函数使用并且):

df.global_horizontal = df.direct + df.diffuse
df.diffuse_fraction = df.diffuse / df.global_horizontal
df.diffuse_fraction = df.diffuse_fraction.fillna(0)

编辑:我现在正确地将最新列添加到数据框中。它对错误没有任何影响。

函数调用:

gsee.pv.run_plant_model(df, site.coords, angle, azimuth, tracking, 
                        capacity, technology, system_loss, 
                        angles=None, include_raw_data=False)    

我认为最初的问题可能不好:

C:\Users\XX\Anaconda3\lib\site-packages\pandas\indexes\base.py:2683: RuntimeWarning: Cannot compare type 'Timestamp' with type 'str', sort order is undefined for incomparable objects
return this.join(other, how=how, return_indexers=return_indexers)

所以我有'str'我应该有'Timestamp'?

1 个答案:

答案 0 :(得分:0)

好的,我发现错误并且原来的问题很糟糕:

解决方案:

df = pd.read_csv(requestfile, index_col=[0], parse_dates=[0], skiprows=[1])

标题被遗漏了,我添加了read_csv以跳过包含'str'单位的行。所以问题是所使用的函数之一是试图将'Timestamp'与单位行('str')进行比较。