尝试使用pandas Dataframe应用lambda函数时出错

时间:2018-04-05 15:00:52

标签: python python-3.x pandas dataframe

我有一个带有日期时间索引的数据框,如下所示:

                         ModelRun  Tmp_2m_C     DSWRF   TCDC  Obs_kW  n  beta  \
2016-01-01 06:30:00  2.016010e+09  7.962387   0.00000  100.0     0.0  1   0.0   
2016-01-01 07:30:00  2.016010e+09  8.077713   9.00000  100.0     0.0  1   0.0   
2016-01-01 08:30:00  2.016010e+09  8.467117  46.32202  100.0    12.0  1   0.0   
                         delta                   dtm_utc  \
2016-01-01 06:30:00 -23.058629 2016-01-01 06:30:00+00:00   
2016-01-01 07:30:00 -23.058629 2016-01-01 07:30:00+00:00   
2016-01-01 08:30:00 -23.058629 2016-01-01 08:30:00+00:00   
                                    dtm_local         ...           \
2016-01-01 06:30:00 2016-01-01 07:30:00+01:00         ...            
2016-01-01 07:30:00 2016-01-01 08:30:00+01:00         ...            
2016-01-01 08:30:00 2016-01-01 09:30:00+01:00         ...            
                                   corr1_dtm                          dtm_sun  \
2016-01-01 06:30:00 -1 days +23:45:13.666667 2016-01-01 07:12:19.401323+01:00   
2016-01-01 07:30:00 -1 days +23:45:13.666667 2016-01-01 08:12:19.401323+01:00   
2016-01-01 08:30:00 -1 days +23:45:13.666667 2016-01-01 09:12:19.401323+01:00   
                     sun_hour sun_hour_angle delta_rad  sun_hour_angle_rad  \
2016-01-01 06:30:00       7.2          -72.0 -0.402449           -1.256637   
2016-01-01 07:30:00       8.2          -57.0 -0.402449           -0.994838   
2016-01-01 08:30:00       9.2          -42.0 -0.402449           -0.733038   
                     earth_sunset_deg  earth_sunrise_deg  surface_sunset_deg  \
2016-01-01 06:30:00         68.645391         -68.645391           70.481456   
2016-01-01 07:30:00         68.645391         -68.645391           70.481456   
2016-01-01 08:30:00         68.645391         -68.645391           70.481456   
                     surface_sunrise_deg  
2016-01-01 06:30:00           -79.585047  
2016-01-01 07:30:00           -79.585047  
2016-01-01 08:30:00           -79.585047 

请注意我已经放置了所有数据帧列,以便您可以尝试追溯错误,但在我尝试做的事情中,我只对最后四列感兴趣,所以在数据帧的这一部分:

                     earth_sunset_deg  earth_sunrise_deg  surface_sunset_deg  \
2016-01-01 06:30:00         68.645391         -68.645391           70.481456   
2016-01-01 07:30:00         68.645391         -68.645391           70.481456   
2016-01-01 08:30:00         68.645391         -68.645391           70.481456   
                     surface_sunrise_deg  
2016-01-01 06:30:00           -79.585047  
2016-01-01 07:30:00           -79.585047  
2016-01-01 08:30:00           -79.585047 

这只是数据框的一部分,因为它包含2年的数据。我想要做的是以下几点:

if surface_sunset_deg > earth_sunset_deg:
    sunset_deg = earth_sunset_deg
else:
    sunset_deg = surface_sunset_deg

基本上,我试图遍历数据帧的所有行(对应于不同的时间戳),评估两个角度中的哪一个更大(surface_sunset_deg or earth_sunset_deg)并将满足我的标准的那个存储在一个新专栏df["sunset_deg"]

据我所知,循环数据帧的最有效方法是使用apply函数,因此我写的是:

df["sunset_deg"] = df.apply(lambda row: row["earth_sunset_deg"] if row["earth_sunset_deg"] < row["surface_sunset_deg"] else row["surface_sunset_earth"], axis=1)

我得到的错误是:

Traceback (most recent call last):
  File "C:\Users\Admin\Anaconda3\lib\site-packages\pandas\core\indexes\base.py", line 2483, in get_value
    return libts.get_value_box(s, key)
  File "pandas/_libs/tslib.pyx", line 923, in pandas._libs.tslib.get_value_box (pandas\_libs\tslib.c:18843)
  File "pandas/_libs/tslib.pyx", line 932, in pandas._libs.tslib.get_value_box (pandas\_libs\tslib.c:18477)
TypeError: 'str' object cannot be interpreted as an integer
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
  File "C:\Users\Admin\Anaconda3\lib\site-packages\IPython\core\interactiveshell.py", line 2910, in run_code
    exec(code_obj, self.user_global_ns, self.user_ns)
  File "<ipython-input-11-69be989aa737>", line 1, in <module>
    df.apply(lambda row: row["earth_sunset_deg"] if row["earth_sunset_deg"] < row["surface_sunset_deg"] else row["surface_sunset_earth"], axis=1)
  File "C:\Users\Admin\Anaconda3\lib\site-packages\pandas\core\frame.py", line 4262, in apply
    ignore_failures=ignore_failures)
  File "C:\Users\Admin\Anaconda3\lib\site-packages\pandas\core\frame.py", line 4358, in _apply_standard
    results[i] = func(v)
  File "<ipython-input-11-69be989aa737>", line 1, in <lambda>
    df.apply(lambda row: row["earth_sunset_deg"] if row["earth_sunset_deg"] < row["surface_sunset_deg"] else row["surface_sunset_earth"], axis=1)
  File "C:\Users\Admin\Anaconda3\lib\site-packages\pandas\core\series.py", line 601, in __getitem__
    result = self.index.get_value(self, key)
  File "C:\Users\Admin\Anaconda3\lib\site-packages\pandas\core\indexes\base.py", line 2491, in get_value
    raise e1
  File "C:\Users\Admin\Anaconda3\lib\site-packages\pandas\core\indexes\base.py", line 2477, in get_value
    tz=getattr(series.dtype, 'tz', None))
  File "pandas\_libs\index.pyx", line 98, in pandas._libs.index.IndexEngine.get_value
  File "pandas\_libs\index.pyx", line 106, in pandas._libs.index.IndexEngine.get_value
  File "pandas\_libs\index.pyx", line 154, in pandas._libs.index.IndexEngine.get_loc
  File "pandas\_libs\hashtable_class_helper.pxi", line 1210, in pandas._libs.hashtable.PyObjectHashTable.get_item
  File "pandas\_libs\hashtable_class_helper.pxi", line 1218, in pandas._libs.hashtable.PyObjectHashTable.get_item
KeyError: ('surface_sunset_earth', 'occurred at index 2016-02-02 00:30:00')

当我为数据帧的前30个elemtns运行相同的代码行时,所以:

 df["sunset_deg"] = df[:30].apply(lambda row: row["earth_sunset_deg"] if row["earth_sunset_deg"] < row["surface_sunset_deg"] else row["surface_sunset_earth"], axis=1)

它运行平稳并产生我想要的结果。你能帮我找回错误吗?我对Python比较陌生,我已经尽力而为,但没有成功。提前谢谢。

2 个答案:

答案 0 :(得分:2)

使用apply()对此无效。你应该几乎不要使用apply(),除非作为最后的手段。您可以更简单地解决您的问题:

df["sunset_deg"] = df[["earth_sunset_deg", "surface_sunset_deg"]].min(1)

这是一种可能更容易扩展到不同条件的替代方案:

df["sunset_deg"] = df["earth_sunset_deg"].where(df["surface_sunset_deg"] > df["earth_sunset_deg"], df["surface_sunset_deg"])

其中任何一个都比使用apply()(实际上只是一个for循环的任何东西都要高效得多(这个循环很慢)。

答案 1 :(得分:0)

问题在于&lt; surface_sunset_earth&#39;不存在于指定的行中。 确切地说,问题在于:

else row["surface_sunset_earth"]

你无法获得密钥&#34; surface_sunset_earth&#34;如果它不存在于指定的行中。

也许你不想在这里使用lambda。 lambda对于小逻辑更好,当逻辑变大时,你最好使用函数。

这将是一个解决方案:

def my_func(row):
    try:
        if row["earth_sunset_deg"] < row["surface_sunset_deg"]:
            return row["earth_sunset_deg"]  
        else:
            return row["surface_sunset_earth"]
    except KeyError:
        # Decide here what to do in case one of the keys aren't exists
        pass

df["sunset_deg"] = df[:30].apply(my_func, axis=1)