从Blob读取json文件作为字典

Question

我有一个存储在Blob中的json文件。我想将该文件作为字典阅读。对于普通的文件系统，我会按照以下步骤进行操作

with open(file_path) as f:
        data = json.load(f)

但是，当我打开Blob网址时，它不起作用。我可以使用pyspark函数从blob中读取内容并将其转换为json，如下所示-

df=spark.read.json(file_url)
data = list(map(lambda row: row.asDict(True), df.collect()))[0]

我想知道是否可以像上面那样简单地执行此操作，因为收集操作在火花中有点昂贵。

Answer 1

您可以使用熊猫从URL中读取json。例如

import pandas as pd
json_data = pd.read_json("http://ip-api.com/json/54.148.84.95", typ='series')
json_data.head()