列出有组织的熊猫df的列表的字典

时间:2020-02-12 15:10:41

标签: python python-3.x pandas

我有字典:

[
  { 
    'dates': ['2019-12-01'], 
    'periods': ['1', '1', '1', '1']
  }, 
  {
    'dates': ['2019-12-02', '2019-12-03', '2019-12-04', '2019-12-05'], 
    'hh_periods': ['1', '1', '1', '20']
  }
]

理想情况下,我想用pd.Dataframe()构建一个colums=["p1", "p2", "p3", "p4"]

看起来像这样:

           p1 p2 p3 p4
dates                                                 
2019-12-01  1  1  1  1
2019-12-02  1  1  1  20
2019-12-03  1  1  1  20
2019-12-04  1  1  1  20
2019-12-05  1  1  1  20

对于我的用例,我需要快速解决问题,我已经尝试过:

p = pd.DataFrame(data).explode('dates')
p.set_index('dates', inplace=True)

接近,但最终以:

               hh_periods
dates                    
2019-12-01   [1, 1, 1, 1]
2019-12-01   [1, 1, 1, 1]
2019-12-02  [1, 1, 1, 20]
2019-12-03  [1, 1, 1, 20]

这不理想。 *更新*

所以我用了anky_91的答案:

cols = ["dates", "p1", "p2", "p3", "p4"]
p = pd.DataFrame(self.build()).explode('dates')
var = p[['dates']].join(pd.DataFrame(p.ffill(axis=1).iloc[:, -1].tolist()))
var.columns = cols

现在返回的结果看起来很正确:

dates          p1   p2  p3   p4
0  2019-12-07  1    0    0    0
0  2019-12-14  1    0    0    0
0  2019-12-07  1    0    0    0
0  2019-12-14  1    0    0    0
1  2019-12-01  1    0    0    0

但是当我测试:

[
 {
  'dates': ['2019-12-07', '2019-12-14'], 
  'periods': ['333333', '0', '0', '0']
 }, 
 {
  'dates': ['2019-12-01', '2019-12-08', '2019-12-15'], 
  'periods': ['1', '1', '333', '1']
 }
]

我得到这样的df:

        dates            p1 p2 p3 p4
0  2019-12-07  333333    0    0    0
0  2019-12-14  333333    0    0    0
0  2019-12-07  333333    0    0    0
0  2019-12-14  333333    0    0    0
1  2019-12-01  333333    0    0    0
1  2019-12-08  333333    0    0    0
1  2019-12-15  333333    0    0    0
1  2019-12-01  333333    0    0    0

所以只有p1被拾取...:/

p = pd.DataFrame(self.build()).explode('dates')
print(p)

产生预期的旧格式:

      dates         hh_periods
0  2019-12-07  [333333, 0, 0, 0]
0  2019-12-14  [333333, 0, 0, 0]
1  2019-12-01     [1, 1, 333, 1]
1  2019-12-08     [1, 1, 333, 1]

    ( ... ) 

2 个答案:

答案 0 :(得分:2)

您可以使用

修复p
p = p.reset_index().join(pd.DataFrame(p.hh_periods.tolist()))

答案 1 :(得分:2)

您可以使用:

p = pd.DataFrame(data).explode('dates')
p = p[['dates']].join(pd.DataFrame(p.ffill(axis=1).iloc[:,-1].tolist())
                 .rename(columns=lambda x: f"p{x+1}"))

        dates p1 p2 p3  p4
0  2019-12-01  1  1  1   1
1  2019-12-02  1  1  1  20
1  2019-12-03  1  1  1  20
1  2019-12-04  1  1  1  20
1  2019-12-05  1  1  1  20

编辑每个新词典列表:

p = pd.DataFrame(data).explode('dates').reset_index(drop=True)
var = p[['dates']].join(pd.DataFrame(p.ffill(axis=1).iloc[:,-1].tolist()))
#var.columns = your_list_of_columns
print(var)

        dates       0  1    2  3
0  2019-12-07  333333  0    0  0
1  2019-12-14  333333  0    0  0
2  2019-12-01       1  1  333  1
3  2019-12-08       1  1  333  1
4  2019-12-15       1  1  333  1