Question

我对pyspark和json解析有点陌生，在某些情况下我陷入了困境。首先让我解释一下我要做什么，我有一个json文件，其中有data元素，该data元素是一个包含另外两个json对象的数组。给定的json文件在

下

 {
    "id": "da20d14c.92ba6",
    "type": "Data Transformation Node",
    "name": "",
    "topic": "",
    "x": 380,
    "y": 240,
    "typeofoperation":"join",
    "wires": [
        ["da20d14c.92ba6","da20d14c.93ba6"]
    ],
 "output":true, 
 "data":[
      {
         "metadata_id":"3434",
         "id":"1",
         "first_name":"Brose",
         "last_name":"Eayres",
         "email":"beayres0@archive.org",
         "gender":"Male",
         "postal_code":null
      },
      {
         "metadata_id":"3434",
         "id":"2",
         "first_name":"Brose",
         "last_name":"Eayres",
         "email":"beayres0@archive.org",
         "gender":"Male",
         "postal_code":null
      }
   ]

 }

现在，我要做的是一步一步地遍历该数据数组：意味着迭代到json的第一个对象将其存储到一个数据帧中，然后迭代到第二个对象并将其存储到另一个数据帧中，然后执行一个完整的操作联接或它们上的任何联接。（可能）

如果是，如何在pyspark中执行此操作。到目前为止，我所做的是
试图将其爆炸，但数据却一次爆炸，而不是一次爆炸

from pyspark.sql import SparkSession
from pyspark.sql.functions import explode, col
from pyspark.sql.functions import *
from pyspark.sql import Row
from pyspark.sql import SQLContext
from pyspark import SparkConf, SparkContext

spark = SparkSession \
    .builder \
    .appName("Python Spark SQL basic example") \
    .getOrCreate()

sc = SparkContext.getOrCreate()

dataFrame = spark.read.option("multiline", "true").json("nodeWithTwoRddJoin.json")

dataNode = dataFrame.select(explode("data").alias("Data_of_node"))

dataNode.show()

但是上面的代码给了我一个集合数据集。比我用

firstDataSet = dataNode.collect()[0]
secondDataSet =  dataNode.collect()[1]

这些行给了我一行，我无法协调回到数据框。任何建议和解决方案

Answer 1

您需要在数据框的每一行上应用一个映射，该映射将其列之一的内容拆分为两个新列。此后将结果分成两个数据帧很简单。为此，我使用了一个简单的函数，该函数从数组中返回所需的索引：

def splitArray(array, pos):
    return array[pos]

您可以这样应用此功能：

import pyspark.sql.functions as f

mapped = dataFrame.select(
    splitArray(f.col('data'), 0).alias('first'),
    splitArray(f.col('data'), 1).alias('second'))

（我使用内置的“ col”功能选择数据列。不确定是否有更优雅的方法来实现这一点。）

结果：

+-----------------------------------------------------+-----------------------------------------------------+
|first                                                |second                                               
|
+-----------------------------------------------------+-----------------------------------------------------+
|[beayres0@archive.org, Brose, Male, 1, Eayres, 3434,]|[beayres0@archive.org, Brose, Male, 2, Eayres, 3434,]|
+-----------------------------------------------------+-----------------------------------------------------+

要选择不同dfs中的列，只需选择它们：

firstDataSet = mapped.select('first')
secondDataSet =  mapped.select('second)

Answer 2

这会将它们至少放置在两个数据帧中

from pyspark.sql.functions import monotonically_increasing_id

df_with_id = dataNode.withColumn("id",monotonically_increasing_id())

max_id = df_with_id.agg({"id": "max"}).collect()[0]["max(id)"]


first_df = df_with_id.where("id = {maxid}".format(maxid=max_id))
second_df = df_with_id.where("id != {maxid}".format(maxid=max_id))

有没有一种方法可以在pyspark中一个接一个地访问array（struct）中的多个JSON对象

2 个答案: