如何在spark中合并或连接具有不相等列数的数据帧

Question

我正在使用spark做一个项目。在某些阶段，我需要在单个数据帧中合并或连接3个数据帧。这些数据框来自spark sql表 我使用了联合函数，它已经从两个表合并了相同数字的列 但我也需要合并不相等的列值。我现在很困惑 有没有办法在pyspark中合并或连接不等列的数据框，请指导我

Answer 1

您可以在合并之前添加一个具有默认值的列。

   List<Images> ImageCollection;
    private async void Button_Click(object sender, RoutedEventArgs e)
    {
        ImageCollection = new List<Images>();
        // pick a folder
        var folderPicker = new Windows.Storage.Pickers.FolderPicker();
        folderPicker.FileTypeFilter.Add(".jpg");
        var folder = await folderPicker.PickSingleFolderAsync();
        var filesList = await folder.CreateFileQueryWithOptions(new QueryOptions(CommonFileQuery.DefaultQuery, new string[] { ".jpg", ".png", ".jpeg" })).GetFilesAsync();
        for (int i = 0; i < filesList.Count; i++)
        {
            StorageFile imagefile = filesList[i];
            BitmapImage bitmapimage = new BitmapImage();
            using (IRandomAccessStream stream = await imagefile.OpenAsync(FileAccessMode.Read))
            {
                bitmapimage.SetSource(stream);
            }

            ImageCollection.Add(new Images()
            {
                ImageURL = bitmapimage,
                ImageText = filesList[i].Name

            });
        }
        AdaptiveGV.ItemsSource = ImageCollection;
    }
}
public class Images
{
    public ImageSource ImageURL { get; set; }
    public string ImageText { get; set; }
}