Question

我正在尝试使用Spark 2.0重命名案例类数据集中的嵌套字段。一个例子如下，我试图重命名＆＃34;元素＆＃34;到＆＃34;地址＆＃34; （保持它嵌套在数据结构中的位置）：

df.printSchema
//Current Output:
root
 |-- companyAddresses: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- addressLine: string (nullable = true)
 |    |    |-- addressCity: string (nullable = true)
 |    |    |-- addressCountry: string (nullable = true)
 |    |    |-- url: string (nullable = true)

//Desired Output:
root
 |-- companyAddresses: array (nullable = true)
 |    |-- address: struct (containsNull = true)
 |    |    |-- addressLine: string (nullable = true)
 |    |    |-- addressCity: string (nullable = true)
 |    |    |-- addressCountry: string (nullable = true)
 |    |    |-- url: string (nullable = true)

供参考，以下内容不起作用：

df.withColumnRenamed("companyAddresses.element","companyAddresses.address") 
df.withColumnRenamed("companyAddresses.element","address")

Answer 1

你在这里要求的是不可能的。 companyAddresses是一个数组，而element根本不是一个列。它只是数组成员模式的指示器。它无法选择，也无法重命名。

您只能重命名父容器：

df.withColumnRenamed("companyAddresses", "foo")

通过修改架构

或各个字段的名称。在简单的情况下，也可以使用struct并选择：

df.select(struct($"foo".as("bar"), $"bar".as("foo")))

但显然这不适用于此。

Answer 2

您可以为此编写一个小的递归函数，并使用map：

final JavaRDD rdd = df.toJavaRDD().map(row -> ....);


private static void flatDocument(Row input, Map<String,Object> outValues, String fqn)
{
    final StructType schema = input.schema();

    for (StructField field : schema.fields())
    {
        final String fieldName = field.name();

        String key = fqn == null ? fieldName : fqn + "_" + fieldName;

        Object buffer = input.getAs(fieldName);

        if (field.dataType().getClass().equals(StructType.class))
        {
            if (buffer != null) {
                flatDocument((Row) buffer, outValues, key);
            }
        }
        else
        {
            outValues.put(key, buffer);
        }
    }
}

但是您需要一个模式将其转换为DataSet：/

在Scala Spark 2.0 Dataset中重命名嵌套字段

2 个答案: