Question

我正在开发一个脚本，该脚本使用Twitter API从用户列表中提取最新状态。我能够使用API检索数据，但是在将其转换为DataFrame时，我得到了存储字典的列。我想将这些词典的索引传播到其他列。最终，我试图将所有信息保存为CSV。

以下是代码：

import twython
import time
import pandas as pd
import numpy as np

app_key = ''
app_secret = ''
oauth_token = ''
oauth_token_secret = ''

twitter = twython.Twython(app_key, app_secret, oauth_token, oauth_token_secret)

screen_names = ['@', '@'] #enter screen names of interest

tweets = []

for screen_name in screen_names:
    tweets.extend(twitter.get_user_timeline(screen_name=screen_name, count=200))
    time.sleep(5)

df = pd.DataFrame(tweets)

返回DataFrame（400,25）。 df[[2,3,5]]返回以下内容：

     created_at                       entities                                         favorite_count
0    Thu Jun 19 13:14:39 +0000 2014  {u'symbols': [], u'user_mentions': [], u'hasht...       0
1    Thu Jun 19 11:53:51 +0000 2014  {u'symbols': [], u'user_mentions': [{u'id': 18...       0
2    Thu Jun 19 11:53:25 +0000 2014  {u'symbols': [], u'user_mentions': [], u'hasht...       3
3    Thu Jun 19 11:49:34 +0000 2014  {u'symbols': [], u'user_mentions': [], u'hasht...       0
4    Thu Jun 19 11:01:31 +0000 2014  {u'symbols': [], u'user_mentions': [{u'id': 18...       0

如何在其他列中拆分entities列？例如，我希望symbols，user_mentions，hastags等，成为df中的其他列。

非常感谢任何帮助。

Answer 1

以下内容完成了我在问题中提出的问题：

df_entities = pd.DataFrame(df['t_entities'].tolist())

df = df.join([df_entities, df_user])

Answer 2

我使用这个辅助函数将嵌套值的dict（可能来自API）转换为没有嵌套值的dict。

def flatten(d):
    for key in d.keys():
        if isinstance(d[key], list):
            value = d.pop(key)
            for i, v in enumerate(value):
                d.update(flatten({'%s__%s' % (key, i): v}))
        elif isinstance(d[key], dict):
            value = d.pop(key)
            d.update([('%s__%s' % (key, sub), v) for (sub, v) in flatten(value).items()])
    return d

以下是它的作用示例：

In [2]: d = {'user': 'foo', 'data': {'choices': [0,1,2], 'type': 'x1'}}

In [3]: flatten(d)
Out[3]: 
{'data__choices__0': 0,
 'data__choices__1': 1,
 'data__choices__2': 2,
 'data__type': 'x1',
 'user': 'foo'}

在您的示例中，您需要执行以下操作：

df = pd.DataFrame([flatten(t) for t in tweets])

操纵包含来自Twitter API的词典的Pandas DataFrame

2 个答案: