如果标题有点令人困惑，请原谅我。
假设我有test.h5。以下是使用df.read_hdf('test.h5', 'testdata')
0 1 2 3 4 5 6
0 123 444 111 321 NaN NaN NaN
1 12 234 113 67 21 32 900
3 212 112 543 321 45 NaN NaN
我想选择最后一个非Nan列。我的预期结果是这样的
0 321
1 900
2 45
另外，我想选择除最后一个非NaN列以外的所有列。我的预期结果可能是这样的。它可能是numpy数组，但我还没有任何解决方案。
0 1 2 3 4 5 6
0 123 444 111
1 12 234 113 67 21 32
3 212 112 543 321
我在线搜索，发现df.iloc[:, :-1]读取了所有列，但最后一列和df.iloc[:, -1]用于阅读最后一列。
我使用这两个命令的当前结果如下： 1.读取除最后一列之外的所有列
0 1 2 3 4 5
0 123 444 111 321 NaN NaN
1 12 234 113 67 21 32
3 212 112 543 321 45 NaN
2.阅读最后一栏
0 NaN
1 900
2 Nan
我的问题是，pandas中是否有用于解决这些问题的命令或查询？
感谢您提供任何帮助和建议。
答案 0 :(得分：7)
您可以使用sort来满足您的条件，即
ndf = df.apply(lambda x : sorted(x,key=pd.notnull),1)
这将给出
0 1 2 3 4 5 6 0 NaN NaN NaN 123.0 444.0 111.0 321.0 1 12.0 234.0 113.0 67.0 21.0 32.0 900.0 3 NaN NaN 212.0 112.0 543.0 321.0 45.0
现在你可以选择最后一列，即
ndf.iloc[:,-1]
0 321.0 1 900.0 3 45.0 Name: 6, dtype: float64
ndf.iloc[:,:-1].apply(lambda x : sorted(x,key=pd.isnull),1)
0 1 2 3 4 5 0 123.0 444.0 111.0 NaN NaN NaN 1 12.0 234.0 113.0 67.0 21.0 32.0 3 212.0 112.0 543.0 321.0 NaN NaN
答案 1 :(得分：6)
第2部分
这是一种矢量化方式，通过一些屏蔽来完成选择除最后一个非NaN列之外的所有列的第二项任务 -
idx = df.notnull().cumsum(1).idxmax(1).values.astype(int)
df_out = df.mask(idx[:,None] <= np.arange(df.shape[1]))
这是在样本数据帧的修改/通用版本上运行的示例，在第三行中有两个NaN岛，第二行在开始时具有NaN岛 -
In [181]: df
Out[181]:
0 1 2 3 4 5 6
0 123 444.0 111.0 321 NaN NaN NaN
1 12 NaN NaN 67 21.0 32.0 900.0
3 212 NaN NaN 321 45.0 NaN NaN
In [182]: idx = df.notnull().cumsum(1).idxmax(1).values.astype(int)
In [183]: df.mask(idx[:,None] <= np.arange(df.shape[1]))
Out[183]:
0 1 2 3 4 5 6
0 123 444.0 111.0 NaN NaN NaN NaN
1 12 NaN NaN 67.0 21.0 32.0 NaN
3 212 NaN NaN 321.0 NaN NaN NaN
第1部分
回到解决第一种情况，只需使用NumPy的高级索引 -
In [192]: df.values[np.arange(len(idx)), idx]
Out[192]: array([ 321., 900., 45.])
答案 2 :(得分：4)
首先使用notnull + iloc + idxmax获取最后一个非NaN值列的名称lookup：
a = df.notnull().iloc[:,::-1].idxmax(1)
print (a)
0 3
1 6
3 4
dtype: object
print (pd.Series(df.lookup(df.index, a)))
0 321.0
1 900.0
2 45.0
dtype: float64
然后将此值替换为NaN s：
arr = df.values
arr[np.arange(len(df.index)),a] = np.nan
print (pd.DataFrame(arr, index=df.index, columns=df.columns))
0 1 2 3 4 5 6
0 123.0 444.0 111.0 NaN NaN NaN NaN
1 12.0 234.0 113.0 67.0 21.0 32.0 NaN
3 212.0 112.0 543.0 321.0 NaN NaN NaN
答案 3 :(得分：4)
选项1
df.stack().groupby(level=0).last()
0 321.0
1 900.0
3 45.0
dtype: float64
选项2
将apply与pd.Series.last_valid_index
# Thanks to Bharath shetty for the suggestion
df.apply(lambda x : x[x.last_valid_index()], 1)
# Old Answer
# df.apply(pd.Series.last_valid_index, 1).pipe(lambda x: df.lookup(x.index, x))
array([ 321., 900., 45.])
选项3
通过np.where和字典理解获得创意
pd.Series({df.index[i]: df.iat[i, j] for i, j in zip(*np.where(df.notnull()))})
0 321.0
1 900.0
3 45.0
dtype: float64
选项4
pd.DataFrame.ffill
df.ffill(1).iloc[:, -1]
0 321.0
1 900.0
3 45.0
Name: 6, dtype: float64
解决最后一招
df.stack().groupby(level=0, group_keys=False).apply(lambda x: x.head(-1)).unstack()
0 1 2 3 4 5
0 123.0 444.0 111.0 NaN NaN NaN
1 12.0 234.0 113.0 67.0 21.0 32.0
3 212.0 112.0 543.0 321.0 NaN NaN
答案 4 :(得分：0)
对于那些正在为这个特定问题寻找答案的人，对我来说，我最终使用了Bharath shetty给出的答案。为了使以后更容易访问，我修改了给出的答案，下面是我的代码：
#assuming you have some csv file with different length of row/column
#and you want to create h5 file from those csv files
data_one = [np.loadtxt(file) for file in glob.glob(yourpath + "folder_one/*.csv")]
data_two = [np.loadtxt(file) for file in glob.glob(yourpath + "folder_two/*.csv")]
df1 = pd.DataFrame(data_one)
df2 = pd.DataFrame(data_two)
combine = df1.append(df2, ignore_index=True)
combine_sort = combine.apply(lambda x : sorted(x, key=pd.notnull), 1)
combine.to_hdf('test.h5', 'testdata')
阅读
dataframe = pd.read_hdf('test.h5', 'testdata')
dataset = dataframe.values
q1 = dataset[:, :-1] # return all column except the last column
q2 = dataset[:, -1] # return the last column