如何选择一个Pyspark列并将其作为新行添加到数据框中?

时间:2019-12-29 07:22:46

标签: apache-spark pyspark pyspark-sql pyspark-dataframes

我有一个JSON文件,我想执行一些ETL任务。 我想提取一列并将其值附加为数据框中的新行。 例如,如果我有一个像这样的数据框:

-----------------------------------------------------------------
|name    |    last    |                  father                 |
-----------------------------------------------------------------
| daniel |  allardice | {'name': 'george', 'last': 'allardice'} |
-----------------------------------------------------------------

我想把它变成:

----------------------------
|    name    |    last     |
----------------------------
|   daniel   |  allardice  |
----------------------------
|   george   |  allardice  |
----------------------------

如何在PySpark中使用UDF做到这一点?

1 个答案:

答案 0 :(得分:0)

您可以尝试使用以下代码

protected void onBindView(View view) {
    super.onBindView(view);

    View checkableView = view.findViewById(com.android.internal.R.id.switch_widget);
    if (checkableView != null && checkableView instanceof Checkable) {
        if (checkableView instanceof Switch) {
            final Switch switchView = (Switch) checkableView;
            switchView.setOnCheckedChangeListener(null);

        }

        ((Checkable) checkableView).setChecked(mChecked);

        if (checkableView instanceof Switch) {
            final Switch switchView = (Switch) checkableView;
            switchView.setTextOn(mSwitchOn);
            switchView.setTextOff(mSwitchOff);
            switchView.setOnCheckedChangeListener(mListener);
        }
    }

    syncSummaryView(view);
}