Question

我正在JAVA flink API上创建一个小型实用程序，以学习功能。我正在尝试读取csv文件并仅打印它，并且我为数据结构开发了一个POJO类。当我执行代码时，我看不到正确的值。（整数值替换为零和String的空值。如何映射属性的数据类型

我的主班：

package org.karthick.flinkLab;

import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;

import javax.xml.crypto.Data;

public class CSVFileRead {
    public static void main(String[] args) throws Exception {
        System.out.println("--CSV File Reader using Flink's Data Set API--");
        ExecutionEnvironment execEnv = ExecutionEnvironment.getExecutionEnvironment();
        DataSet<DataModel> csvInput = execEnv.readCsvFile("C:\\Flink\\Data\\IndividualDetails.csv")
                    .pojoType(DataModel.class);
        csvInput.print();

    }
}

我的Pojo类（DataModel.class）

package org.karthick.flinkLab;

import org.apache.flink.api.java.tuple.Tuple;
import org.apache.flink.api.java.tuple.Tuple12;

import java.io.Serializable;
import java.util.Date;

public class DataModel<T extends Tuple>
            extends Tuple12<Integer,String,Date,Integer,String,String,String,String,String,String,Date,String>
            implements Serializable
    {
        public Integer id;
        public String government_id;
        public Date diagnosed_date;
        public Integer age;
        public String detected_city;
        public String detected_district;
        public String detected_state;
        public String nationality;
        public String current_status;
        public Date status_change_date;
        public String notes;

        public DataModel() {};

        public String getNotes() {
            return notes;
        }

        public Date getStatus_change_date() {
            return status_change_date;
        }

        public String getCurrent_status() {
            return current_status;
        }

        public String getNationality() {
            return nationality;
        }

        public String getDetected_state() {
            return detected_state;
        }

        public String getDetected_district() {
            return detected_district;
        }

        public String getDetected_city() {
            return detected_city;
        }

        public String gender    ;

        public Date getDiagnosed_date() {
            return diagnosed_date;
        }

        public String getGender() {
            return gender;
        }

        public Integer getAge() {
            return age;
        }

        public Integer getId() {
            return id;
        }

        public void setId(Integer id) {
            this.id = id;
        }

        public String getGovernment_id() {
            return government_id;
        }

        public void setGovernment_id(String government_id) {
            this.government_id = government_id;
        }
}

执行main方法时，看不到正确的值。样本结果

(0,,Tue May 19 16:50:38 IST 2020,0,,,,,,,Tue May 19 16:50:38 IST 2020,)

我希望在哪里

(2777,AP,Tue May 19 16:50:38 IST 2020,0,A,B,C,D,E,F,Tue May 19 16:50:38 IST 2020,G)

这里可能缺少什么？

Answer 1

您缺少从CSV到POJO的列映射。添加映射将起作用。列名称的映射必须遵循以下两个规则：

列名应与POJO中的名称完全相同。
映射中的列顺序应与CSV文件中的顺序完全相同。

您可以如下定义映射：

DataSet<DataModel> csvInput = execEnv.readCsvFile("C:\\Flink\\Data\\IndividualDetails.csv")
                    .pojoType(DataModel.class, "id", "age",.........);

它应该抛出错误，但是没有。可能是bug

Flink Java API-Pojo类型到元组数据类型

1 个答案: