Question

我一直坐在这里好几天，在线搜索高低，但没有找到合适的答案

我的问题描述，我需要从传入的.csv文件中过滤重复数据，检查该数据是否已经存在于表中，如果没有，则保留数据，否则不插入数据。我的方法，我逐行读取一个独特的.csv文件，我使用一个preparedStatement，假设使用WHERE子句来检查重复项。

我遇到问题的部分是，如何在preparedStatement中使用WHERE子句。

以下是我的代码，以消除任何混淆。

PS：这就是，message_id的样子＆lt; 329577443.1427052727657.JavaMail.javamailuser@localhost>有成千上万的人。

try { 
            dataRow = reader.readLine();
            while ((dataRow = reader.readLine()) != null) {     
                totalRecordsProcessed++;
                dataRow = dataRow.replace("\"", "");
                dataRow = dataRow.replace("<", "");
                dataRow = dataRow.replace(">", "");                         
                dataItems = dataRow.split(",", -1);             
                ExchangeReport exchangeReport = new ExchangeReport(dataItems);                                              
                //System.out.println(exchangeReport.toString());
                persistData(exchangeReport);                
            }           
        }

//检查insert方法以查看我们是否持久存在重复数据 public void persistData（ExchangeReport exchangeReport）抛出SQLException {

    Connection connection = super.getEnvironment().getConnection();   
    PreparedStatement preparedStatement = null;     
    String insertScript = null;     
    String skipScript = null;

    //ResultSet incomeSet;      
    ArrayList<String> rowVals = new ArrayList();

    ArrayList<String> dbList = new ArrayList<String>(); 
    ArrayList<String> incomeList = new ArrayList<String>();

    String tempVal = null;


    skipScript = "select unique_ref, message_id, event_id from InboundCorres " +
            "where message_id = " +
            "";
    preparedStatement = connection.prepareStatement(skipScript);
    ResultSet dbSet = preparedStatement.executeQuery();
    while (dbSet.next()) {
        rowVals.add(dbSet.getString(1).trim());
        rowVals.add(dbSet.getString(2).trim());
        rowVals.add(dbSet.getString(3).trim());
        System.out.println(rowVals.toString());
    }


    //List<String> incomeList = Arrays.asList(dataItems);                                                                           

    insertScript = "INSERT INTO INBOUNDCORRES(EVENT_ID, SOURCE_INBOUND, TIME_STAMP," + 
            "RECIPIENTS, MESSAGE_SUBJECT, SENDER, MESSAGE_ID," + 
            "CONNECTOR_ID, UNIQUE_REF)" + 
            "VALUES(?, ?, ?, ?, ?, ?, ?, ?, ?)";
    preparedStatement = connection.prepareStatement(insertScript);
    preparedStatement.setString(1, exchangeReport.getEventId() );
    preparedStatement.setString(2, exchangeReport.getSourceInbound() );
    preparedStatement.setString(3, exchangeReport.getTimeStamp() ); 
    preparedStatement.setString(4, exchangeReport.getRecipient());
    preparedStatement.setString(5, exchangeReport.getMessageSubject());
    preparedStatement.setString(6, exchangeReport.getSender());
    preparedStatement.setString(7, exchangeReport.getMessageId());
    preparedStatement.setString(8, exchangeReport.getConnectorId());
    preparedStatement.setString(9, exchangeReport.getUniqueRef());
    preparedStatement.executeUpdate();              

}

Answer 1

skipScript中的SQL语句不完整。

我希望看到类似的东西：

skipScript =＆＃34;从InboundCorres中选择unique_ref，message_id，event_id＆＃34; + ＆＃34;其中message_id =：msg_id＆＃34 ;;

所以message_id是列名，msg_id是一个本地String变量来保存我们要查找的值。

要获取msg_id中的值，我们可以调用一个名为saveMessage（）的方法，它看起来像：

public void saveMessage (final String messageId) {
    Map<String, Object> values = new HashMap<String, Object>();
    values.put("msg_id", messageId);
    jdbcTemplate.update(skipScript , values);
}

请注意，我故意为message_id使用了三个不同的名称来清楚说明发生了什么。

希望这会有所帮助。我意识到我的例子使用的是jdbcTemplate.update（），它不像代码示例，但原理类似。

Answer 2

谢谢user4810988，你帮我解决了问题。

skipScript = "select TIME_STAMP " +
                " from InboundCorres where unique_ref = ? " +
                "and message_id = ? " +
                "and event_id = ?";     
        preparedStatement = connection.prepareStatement(skipScript);
        preparedStatement.setString(1, exchangeReport.getUniqueRef());
        preparedStatement.setString(2, exchangeReport.getMessageId());
        preparedStatement.setString(3, exchangeReport.getEventId());

        ResultSet dbSet = preparedStatement.executeQuery();
        while (dbSet.next()) {
            rowVals.add(dbSet.getString(1).trim());
            rowVals.add(dbSet.getString(2).trim());
            rowVals.add(dbSet.getString(3).trim());
            System.out.println("Duplicates found ==>" + rowVals.toString());
        }

这是我正在寻找的解决方案。

如何使用WHERE子句过滤掉重复数据，没有硬编码？

2 个答案: