Question

鉴于包含有关房屋信息的CSV文件，我的以下程序尝试打印最昂贵房屋的价格。出乎意料的是，我收到的最高价格是0，而不是一个非零整数（我已经确认存在，例如CSV文件中的第一个条目）？

程序

public class SparkWordCounter {
    public static void main(String[] args) {
        SparkSession sparkSession = SparkSession.builder().appName("WordCounter").config("spark.master", "local").getOrCreate();

        String fileName = SparkWordCounter.class.getResource("/Sacramentorealestatetransactions.csv").toString();

        StructField[] structFields = {
            DataTypes.createStructField("street", DataTypes.StringType, false),
            DataTypes.createStructField("city", DataTypes.StringType, false),
            DataTypes.createStructField("zip", DataTypes.StringType, false),
            DataTypes.createStructField("state", DataTypes.StringType, false),
            DataTypes.createStructField("beds", DataTypes.ByteType, false),
            DataTypes.createStructField("baths", DataTypes.ByteType, false),
            DataTypes.createStructField("sqFt", DataTypes.ShortType, false),
            DataTypes.createStructField("type", DataTypes.StringType, false),
            DataTypes.createStructField("sale_data", DataTypes.StringType, false),
            DataTypes.createStructField("price", DataTypes.IntegerType, false),
            DataTypes.createStructField("latitude", DataTypes.StringType, false),
            DataTypes.createStructField("longitude", DataTypes.StringType, false)
        };

        StructType structType = DataTypes.createStructType(structFields);
        Dataset<Row> dataset = sparkSession.read().option("header", "true").schema(structType).csv(fileName);

        Dataset<Building> buildingDataset = dataset.as(Encoders.bean(Building.class));

        long price = buildingDataset
                .map(building -> building.price, Encoders.INT())
                .reduce(Integer::max);

        System.out.println("Price: " + price);
    }

    public static class Building implements Serializable {
        public String street;
        public String city;
        public String zip;
        public String state;
        public byte beds;
        public byte baths;
        public short sqFt;
        public String type;
        public String sale_date;
        public int price;
        public String latitude;
        public String longitude;
    }
}

CSV第一项（共985个）

street,city,zip,state,beds,baths,sqFt,type,sale_date,price,latitude,longitude
---,---,---,---,2,1,836,Residential,Wed May 21 00:00:00 EDT 2008,59222,38.---,---

---代表信息显示位置

保证价格为整数，因此使用int（对于较小范围的值使用byte和short）。

为什么最高价格计算为0？

Answer 1

检查数据帧是否从CSV正确加载。您可以通过
检查其中的数据
buildingDataset.select("price").show(20)

如果价格列数据的数据看起来不错，则使用任何一种方法来获取最大值。

SQL API

buildingDataset.createOrReplaceTempView("building");
sparkSession.sql("SELECT price FROM building ORDER BY price DESC LIMIT 1")
  .show();

Java

import static org.apache.spark.sql.functions.*;
buildingDataset.orderBy(col("price").desc())
    .limit(1)
    .show();

为什么在我的DataFrame中找到最大数量会产生0？

1 个答案:

SQL API

Java