Question

考虑到我在pyspark数据框中具有以下数据结构：

var promises = [];

for(i=0;i<5;i+){
    promises.push(foobar());
}

Promise.all(promises)
    .then(() => {
        for(i=0;i<5;i+){
            // foo the bar or bar the foo when all promises are resolved   
        }
    })
    .catch((e) => {
        // handle errors here
    });

如何从数据框中删除arr1:array element:struct string1:string arr2:array element:string string2: string？

Answer 1

您只能使用drop功能。选择嵌套列的方法是使用.

类似于window.start和window.end。您可以以arr2的身份访问arr1.element.arr2。

df.drop(df.element.arr2)

从阵列pyspark移除阵列列

1 个答案: