我有按日期编制索引的Panda DataFrame
。有许多列,但许多列仅填充部分时间序列。我想找到非NaN
值的第一个和最后一个值所在的位置,以便我可以提取日期并查看特定列的时间序列有多长。
有人能指出我如何做这样的事情吗?提前谢谢。
答案 0 :(得分:36)
@ behzad.nouri的解决方案完美地分别使用Series.first_valid_index和Series.last_valid_index返回第一个和最后一个非NaN values
。
答案 1 :(得分:2)
这里有一些有用的例子。
s = pd.Series([np.NaN, 1, np.NaN, 3, np.NaN], index=list('abcde'))
s
a NaN
b 1.0
c NaN
d 3.0
e NaN
dtype: float64
# first valid index
s.first_valid_index()
# 'b'
# first valid position
s.index.get_loc(s.first_valid_index())
# 1
# last valid index
s.last_valid_index()
# 'd'
# last valid position
s.index.get_loc(s.last_valid_index())
# 3
使用notna
和idxmax
的替代解决方案:
# last valid index
s.notna().idxmax()
# 'b'
# last valid position
s.notna()[::-1].idxmax()
# 'd'
df = pd.DataFrame({
'A': [np.NaN, 1, np.NaN, 3, np.NaN],
'B': [1, np.NaN, np.NaN, np.NaN, np.NaN]
})
df
A B
0 NaN 1.0
1 1.0 NaN
2 NaN NaN
3 3.0 NaN
4 NaN NaN
(first|last)_valid_index
未在DataFrames上定义,但是您可以使用apply
将它们应用于每一列。
# first valid index for each column
df.apply(pd.Series.first_valid_index)
A 1
B 0
dtype: int64
# last valid index for each column
df.apply(pd.Series.last_valid_index)
A 3
B 0
dtype: int64
和以前一样,您也可以使用notna
和idxmax
。这是更自然的语法。
# fast valid index
df.notna().idxmax()
A 1
B 0
dtype: int64
# last valid index
df.notna()[::-1].idxmax()
A 3
B 0
dtype: int64