Question

我正在与API进行交互并获取JSON数据。在JSON对象的顶层，我经常＆＃39;数据但某些字段具有更高级的结构：

{
    "foo": 1,
    "bar": "string",
    "spam": {
                "egg":"green",
                "ham":"yum",
                "ran": {
                        "out_of":"fake_words"
                       }
            }
}

我需要将这些高级结构（＆＃34;垃圾邮件＆＃34;）保留为有效的JSON

我使用请求获取数据并将其加载到Pandas DataFrame中，如下所示：

api_result = api.get_data().json()     #the json output of the Request object
df = read_json(json.dumps(api_result))

这给了我一个很好的DataFrame，有三列，正如我所料（这也是我想要的）。问题来自字符串：

foo    bar        spam
1      'string'   {'egg':'green','ham':'yum','ran':{'out_of':'fake_words'}

Pandas或Python已将我数据中的所有字符串更改为单引号（＆＃39;）而不是有效的JSON双引号（＆＃34;）。此行为会破坏期望有效JSON对象的所有下游处理，因为所有引号现在都是单引号。

编辑 - ＆GT;我的程序写出了一个csv，它被摄入到数据库表中，期望在许多字段中使用有效的JSON。该表被许多其他过程用于进一步分析和数据准备。＆LT; - 修改

有没有办法告诉Pandas / Python停止将我的字符串从双引号更改为单引号？我知道一般的让步是单引号更像Pythonic，但现在它们会毁了我的一切。

谢谢！

Answer 1

如果要在Python中生成有效的JSON，最好的路径是内置的json包。您可以使用dumps函数从Python字典创建有效的JSON字符串：

>>> import json
>>> data = {'egg':'green','ham':'yum','ran':{'out_of':'fake_words'}}
>>> json.dumps(data)
'{"ham": "yum", "ran": {"out_of": "fake_words"}, "egg": "green"}'

根据编辑过的问题编辑回答：

问题在于，当您将JSON读入Pandas数据帧时，它会将所有转换为Python对象。在您的情况下，JSON字符串正在转换为Python dicts，当您打印结果时，它会显示Python的字符串表示形式。这种表示几乎就像JSON，但不是JSON。

您需要做的是将数据框中的dicts转换为有效的JSON字符串。要在"spam"列中执行此转换，您可以使用apply()方法调用，例如

data['spam'] = data['spam'].apply(json.dumps)

现在该列包含JSON字符串而不是Python dicts。

Answer 2

试试这个：

from pandas.io.json import json_normalize
import pandas as pd
import json
a = {
    "foo": 1,
    "bar": "string",
    "spam": {
                "egg":"green",
                "ham":"yum",
                "ran": {
                        "out_of":"fake_words"
                       }
            }
}
a["spam"] = json.dumps(a["spam"])
df = json_normalize(a)
df

Pandas / Python破坏了DataFrames中的JSON数据

2 个答案: