在jupyter中访问数据框元素pyspark

Question

我是spark和pyspark的新手。 我的DataFrame由几列组成，而在一些列中，则是数组或子数据帧。

df的printSchema位于image below

我的问题是如何访问"role" the "member"等元素 谢谢你的帮助

Answer 1

您想访问会员或其他cols？ 就这样做：

df.select("group_profile.group.id", 
          "group_profile.group.members",
          "group_profile.intro",
          "group_profile.link",
          "group_profile.role",
         )