PySpark-获取计数并重新加入原始

时间:2018-07-23 14:40:33

标签: python apache-spark dataframe pyspark

我正在使用PySpark进行数据分析。我正在尝试获取唯一行的聚合计数,然后将计数值重新加入到原始数据帧中,以使数据帧不再被聚合,而是保留数据帧中该行的出现次数。在我看来,执行此操作的合适方法是:

  <RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:id="@+id/parent"
    android:layout_width="match_parent"
    android:layout_height="wrap_content">

    <TextView
        android:id="@+id/tv1"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:layout_alignParentLeft="true"
        android:layout_alignParentStart="true"
        android:layout_toLeftOf="@id/divider2"
        android:layout_toStartOf="@+id/divider2"
        android:gravity="center"
        android:text="Title More Text" />

    <TextView
        android:id="@+id/tv2"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:layout_alignEnd="@+id/tv1"
        android:layout_alignParentLeft="true"
        android:layout_alignParentStart="true"
        android:layout_alignRight="@+id/tv1"
        android:layout_below="@+id/tv1"
        android:gravity="center"
        android:text="description" />


    <TextView
        android:id="@+id/tv3"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:layout_alignParentEnd="true"
        android:layout_alignParentRight="true"
        android:layout_toEndOf="@+id/divider2"
        android:layout_toRightOf="@id/divider2"
        android:gravity="center"
        android:text="Title More Text" />

    <TextView
        android:id="@+id/tv4"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:layout_alignLeft="@id/tv3"
        android:layout_alignParentEnd="true"
        android:layout_alignParentRight="true"
        android:layout_alignStart="@+id/tv3"
        android:layout_below="@+id/tv1"
        android:gravity="center"
        android:text="decsription" />

    <View
        android:id="@+id/divider2"
        android:layout_width="1dp"
        android:layout_height="1dp"
        android:layout_centerHorizontal="true"
        android:background="?android:attr/listDivider" />

</RelativeLayout>

但是,经检查,这会导致df.join(df.groupBy(df.columns).count(), df.columns, 'left') 列为NULL。也许我输入的类型错误?有什么想法吗?

0 个答案:

没有答案