将Python dict转换为数据帧

时间:2013-09-16 21:02:23

标签: python pandas dataframe

我有一个如下的Python字典:

{u'2012-06-08': 388,
 u'2012-06-09': 388,
 u'2012-06-10': 388,
 u'2012-06-11': 389,
 u'2012-06-12': 389,
 u'2012-06-13': 389,
 u'2012-06-14': 389,
 u'2012-06-15': 389,
 u'2012-06-16': 389,
 u'2012-06-17': 389,
 u'2012-06-18': 390,
 u'2012-06-19': 390,
 u'2012-06-20': 390,
 u'2012-06-21': 390,
 u'2012-06-22': 390,
 u'2012-06-23': 390,
 u'2012-06-24': 390,
 u'2012-06-25': 391,
 u'2012-06-26': 391,
 u'2012-06-27': 391,
 u'2012-06-28': 391,
 u'2012-06-29': 391,
 u'2012-06-30': 391,
 u'2012-07-01': 391,
 u'2012-07-02': 392,
 u'2012-07-03': 392,
 u'2012-07-04': 392,
 u'2012-07-05': 392,
 u'2012-07-06': 392}

键是Unicode个日期,值是整数。我想通过将日期及其对应的值作为两个单独的列将其转换为pandas数据帧。示例:col1:日期col2:DateValue(日期仍为Unicode,日期值仍为整数)

     Date         DateValue
0    2012-07-01    391
1    2012-07-02    392
2    2012-07-03    392
.    2012-07-04    392
.    ...           ...
.    ...           ...

非常感谢这方面的任何帮助。我无法在大熊猫文档上找到资源来帮助我。

我知道一个解决方案可能是将此dict中的每个键值对转换为dict,以便整个结构成为dicts的dict,然后我们可以将每一行单独添加到数据帧。但我想知道是否有更简单的方法和更直接的方法来做到这一点。

到目前为止,我已经尝试将dict转换为一个系列对象,但这似乎并没有维持列之间的关系:

s  = Series(my_dict,index=my_dict.keys())

16 个答案:

答案 0 :(得分:311)

这里的错误是因为调用DataFrame构造函数时带有标量值(它希望值为list / dict / ...即有多列):

pd.DataFrame(d)
ValueError: If using all scalar values, you must must pass an index

您可以从字典中获取项目(即键值对):

In [11]: pd.DataFrame(d.items())  # or list(d.items()) in python 3
Out[11]:
             0    1
0   2012-07-02  392
1   2012-07-06  392
2   2012-06-29  391
3   2012-06-28  391
...

In [12]: pd.DataFrame(d.items(), columns=['Date', 'DateValue'])
Out[12]:
          Date  DateValue
0   2012-07-02        392
1   2012-07-06        392
2   2012-06-29        391

但我认为传递Series构造函数更有意义:

In [21]: s = pd.Series(d, name='DateValue')
Out[21]:
2012-06-08    388
2012-06-09    388
2012-06-10    388

In [22]: s.index.name = 'Date'

In [23]: s.reset_index()
Out[23]:
          Date  DateValue
0   2012-06-08        388
1   2012-06-09        388
2   2012-06-10        388

答案 1 :(得分:78)

正如另一个直接使用pandas.DataFrame()的答案所解释的那样,不会按你的想法行事。

您可以使用 orient='index' 使用pandas.DataFrame.from_dict

In[7]: pandas.DataFrame.from_dict({u'2012-06-08': 388,
 u'2012-06-09': 388,
 u'2012-06-10': 388,
 u'2012-06-11': 389,
 u'2012-06-12': 389,
 u'2012-06-13': 389,
 u'2012-06-14': 389,
 u'2012-06-15': 389,
 u'2012-06-16': 389,
 u'2012-06-17': 389,
 u'2012-06-18': 390,
 u'2012-06-19': 390,
 u'2012-06-20': 390,
 u'2012-06-21': 390,
 u'2012-06-22': 390,
 u'2012-06-23': 390,
 u'2012-06-24': 390,
 u'2012-06-25': 391,
 u'2012-06-26': 391,
 u'2012-06-27': 391,
 u'2012-06-28': 391,
 u'2012-06-29': 391,
 u'2012-06-30': 391,
 u'2012-07-01': 391,
 u'2012-07-02': 392,
 u'2012-07-03': 392,
 u'2012-07-04': 392,
 u'2012-07-05': 392,
 u'2012-07-06': 392}, orient='index')
Out[7]: 
              0
2012-06-13  389
2012-06-16  389
2012-06-12  389
2012-07-03  392
2012-07-02  392
2012-06-29  391
2012-06-30  391
2012-07-01  391
2012-06-15  389
2012-06-08  388
2012-06-09  388
2012-07-05  392
2012-07-04  392
2012-06-14  389
2012-07-06  392
2012-06-17  389
2012-06-20  390
2012-06-21  390
2012-06-22  390
2012-06-23  390
2012-06-11  389
2012-06-10  388
2012-06-26  391
2012-06-27  391
2012-06-28  391
2012-06-24  390
2012-06-19  390
2012-06-18  390
2012-06-25  391

答案 2 :(得分:70)

将字典转换为pandas数据帧时,您希望键是所述数据帧的列,而值是行值,您可以简单地在字典中放置括号,如下所示:

new_dict = {'key 1': 'value 1', 'key 2': 'value 2', 'key 3': 'value 3'}

In[33]:pd.DataFrame([new_dict])
Out[33]: 
    key 1     key 2     key 3
0   value 1   value 2   value 3

这让我有些头疼,所以我希望它可以帮助那些人!

答案 3 :(得分:62)

将字典的项目传递给DataFrame构造函数,并给出列名称。然后解析Date列以获取Timestamp值。

注意python 2.x和3.x之间的区别:

在python 2.x中:

df = pd.DataFrame(data.items(), columns=['Date', 'DateValue'])
df['Date'] = pd.to_datetime(df['Date'])

在Python 3.x中:(需要额外的'列表')

df = pd.DataFrame(list(data.items()), columns=['Date', 'DateValue'])
df['Date'] = pd.to_datetime(df['Date'])

答案 4 :(得分:10)

df from lists and dictionaries

p.s。特别是,我发现面向行的示例很有帮助;因为经常会在外部存储记录。

https://pbpython.com/pandas-list-dict.html

答案 5 :(得分:9)

Pandas有doc用于将dict转换为数据框。

  

pd.DataFrame.from_dict(dictionaryObject,东方='指数&#39)

对于您的数据,您可以将其转换为如下所示:

import pandas as pd
your_dict={u'2012-06-08': 388,
 u'2012-06-09': 388,
 u'2012-06-10': 388,
 u'2012-06-11': 389,
 u'2012-06-12': 389,
 u'2012-06-13': 389,
 u'2012-06-14': 389,
 u'2012-06-15': 389,
 u'2012-06-16': 389,
 u'2012-06-17': 389,
 u'2012-06-18': 390,
 u'2012-06-19': 390,
 u'2012-06-20': 390,
 u'2012-06-21': 390,
 u'2012-06-22': 390,
 u'2012-06-23': 390,
 u'2012-06-24': 390,
 u'2012-06-25': 391,
 u'2012-06-26': 391,
 u'2012-06-27': 391,
 u'2012-06-28': 391,
 u'2012-06-29': 391,
 u'2012-06-30': 391,
 u'2012-07-01': 391,
 u'2012-07-02': 392,
 u'2012-07-03': 392,
 u'2012-07-04': 392,
 u'2012-07-05': 392,
 u'2012-07-06': 392}

your_df_from_dict=pd.DataFrame.from_dict(your_dict,orient='index')
print(your_df_from_dict)

答案 6 :(得分:5)

var async = require('async');

function WriteToDB(object) {

    object.getItems(function (err, items) {
        var rowlist = [];

        async.each(items, function (item, cb) {
            var field1 = offer.name;
            var field2 = item.name;
            getItemValue(item.name, function (value) {
                var field3 = value;
                var row = [field1, field2, field3];
                rowlist.push(row);
                cb();
            }); //async db call

        }, function () {

            // All async read are completed here
            write(rowlist);
        });
    });
};

答案 7 :(得分:5)

在我的情况下,我希望dict的键和值是DataFrame的列和值。所以唯一对我有用的是:

data = {'adjust_power': 'y', 'af_policy_r_submix_prio_adjust': '[null]', 'af_rf_info': '[null]', 'bat_ac': '3500', 'bat_capacity': '75'} 

columns = list(data.keys())
values = list(data.values())
arr_len = len(values)

pd.DataFrame(np.array(values, dtype=object).reshape(1, arr_len), columns=columns)

答案 8 :(得分:4)

您也可以将字典的键和值传递给新的数据帧,如下所示:

import pandas as pd

myDict = {<the_dict_from_your_example>]
df = pd.DataFrame()
df['Date'] = myDict.keys()
df['DateValue'] = myDict.values()

答案 9 :(得分:3)

接受dict作为参数,并返回一个数据框,其中dict的键为索引,值为列。

def dict_to_df(d):
    df=pd.DataFrame(d.items())
    df.set_index(0, inplace=True)
    return df

答案 10 :(得分:2)

这就是我的工作方式:

df= pd.DataFrame([d.keys(), d.values()]).T
df.columns= ['keys', 'values']  # call them whatever you like

我希望这对您有帮助

答案 11 :(得分:2)

这对我有用,因为我想拥有一个单独的索引列

df = pd.DataFrame.from_dict(some_dict, orient="index").reset_index()
df.columns = ['A', 'B']

答案 12 :(得分:0)

我已经多次遇到这个并且有一个我从函数get_max_Path()创建的示例字典,并返回示例字典:

{2: 0.3097502930247044, 3: 0.4413177909384636, 4: 0.5197224051562838, 5: 0.5717654946470984, 6: 0.6063959031223476, 7: 0.6365209824708223, 8: 0.655918861281035, 9: 0.680844386645206}

要将其转换为数据框,我运行了以下内容:

df = pd.DataFrame.from_dict(get_max_path(2), orient = 'index').reset_index()

返回一个带有单独索引的简单两列数据框:

index 0 0 2 0.309750 1 3 0.441318

只需使用f.rename(columns={'index': 'Column1', 0: 'Column2'}, inplace=True)

重命名列

答案 13 :(得分:0)

我认为您在创建字典时可以对数据格式进行一些更改,然后您可以轻松地将其转换为DataFrame:

输入:

a={'Dates':['2012-06-08','2012-06-10'],'Date_value':[388,389]}

输出:

{'Date_value': [388, 389], 'Dates': ['2012-06-08', '2012-06-10']}

输入:

aframe=DataFrame(a)

输出:将是您的DataFrame

你只需要在像Sublime或Excel这样的地方使用一些文本编辑。

答案 14 :(得分:0)

d = {'Date': list(yourDict.keys()),'Date_Values': list(yourDict.values())}
df = pandas.DataFrame(data=d)

如果不将yourDict.keys()封装在list()内,那么最终会将所有键和值放置在每一列的每一行中。像这样:

Date \ 0 (2012-06-08, 2012-06-09, 2012-06-10, 2012-06-1...
1 (2012-06-08, 2012-06-09, 2012-06-10, 2012-06-1...
2 (2012-06-08, 2012-06-09, 2012-06-10, 2012-06-1...
3 (2012-06-08, 2012-06-09, 2012-06-10, 2012-06-1...
4 (2012-06-08, 2012-06-09, 2012-06-10, 2012-06-1...

但是通过添加list(),结果将如下所示:

Date Date_Values 0 2012-06-08 388 1 2012-06-09 388 2 2012-06-10 388 3 2012-06-11 389 4 2012-06-12 389 ...

答案 15 :(得分:0)

我发现的最简单的方法是创建一个空的数据框并附加字典。 你需要告诉panda's不要关心索引,否则你会得到错误:TypeError: Can only append a dict if ignore_index=True

import pandas as pd
mydict = {'foo': 'bar'}
df = pd.DataFrame()
df = df.append(mydict, ignore_index=True)