如何在camel中将结果集添加到csv文件中

时间:2016-01-13 14:04:46

标签: apache-camel marshalling camel-sql

我的xml在下面给出

 <camelContext trace="false" xmlns="http://camel.apache.org/schema/spring">

    <propertyPlaceholder id="placeholder" location="classpath:application.properties" />

    <!--Route:1 for POLLUX Data Processing   -->

 <route id="processPolluxData-Route" startupOrder="1">
<from uri="{{POLLUX_INPUT_PATH}}?noop=true"/>
  <unmarshal ref="csvBindyDataformatForPolluxData"/>
  <camel:bean ref="polluxDataController" method="processPolluxData"/>
  <camel:log message="Line:${body}" loggingLevel="INFO"/> 
<to uri="sqlComponent:{{sql.insertPolluxData}}?batch=true"  /> 
</route> 

     <!-- Route:2 for RSI Data Processing -->

<route id="processRsiData-Route" startupOrder="2">
<from uri="{{RSI_INPUT_PATH}}?noop=true"/>
  <unmarshal ref="csvBindyDataformatForRsiData"/>
  <camel:bean ref="rsiDataController" method="processRsiData"/>
  <camel:log message="Line:${body}" loggingLevel="INFO"/> 
<to uri="sqlComponent:{{sql.insertRsiData}}?batch=true" /> 
</route>

    <!-- Route for Global Data Processing  -->
    <route id="processGlobalData-Route"  >
    <from uri="sqlComponent:{{sql.selectOrder}}?consumer.useIterator=false" />
         <camel:bean ref="globalDataController" method="processGlobalData" />  
        <marshal>
            <csv delimiter=","/>
        </marshal>
        <log message="${body}" />
    <setHeader headerName="camelFilename">
        <constant>result.csv</constant>
    </setHeader>
    <to uri="{{GLOBAL_OUTPUT_PATH}}?fileExist=Append" />
</route>

我的sql语句是

sql.selectOrder=select STID,CLLTR,SOURCE from GSI_DEVL.POLLUX_DATA

处理结果集的bean类是

public class GlobalDataController {

List<Map<String, Object>> globalStationProccessedList = new ArrayList<Map<String, Object>>();
List<Map<String, Object>> globalStationMap = new ArrayList<Map<String, Object>>();

@SuppressWarnings("unchecked")
public List<Map<String, Object>> processGlobalData(Exchange exchange) throws Exception {

    // System.out.println("Processing " + exchange.getIn().getBody());

    globalStationMap = (List<Map<String, Object>>) exchange.getIn().getBody();
    globalStationProccessedList.addAll(globalStationMap);

    return globalStationProccessedList;
}

}

现在问题是路由1数据被转换为csv文件,其中包含数据库中的确切行数。但是路由2中没有数据附加到csv文件 我正在使用骆驼2.16

2 个答案:

答案 0 :(得分:0)

如果问题只出现在大量文件中(不是文件格式),那么这里就是解决方案:

  <route id="processOrder-route">
    <from uri="sqlComponent:{{sql.selectOrder}}"/>
    <camel:bean ref="controllerformarshalling" method="processGlobalData"  />
    <marshal >
    <csv delimiter="," useMaps="true" > </csv>
     </marshal>
    <log message="${body}"/>
    <setHeader headerName="CamelFileName">
        <constant>result.csv</constant>
    </setHeader>  
    <to uri="file://D://cameltest//output&amp;fileExist=Append" />
  </route>

对于下一个游泳池,您可以根据当前时间设置另一个文件名。

答案 1 :(得分:0)

您是否尝试在sql组件上设置此参数?

  

consumer.useIterator boolean true      Camel 2.11:仅限SQL使用者:如果为true,则返回每行   投票将单独处理。假如整个假   将java.util.Data数据集设置为IN主体。

尝试将此设置为false。这样你就可以将整个sql结果集放到一个列表中,然后将整个列表写到一个文件中。