在并行流处理中捕获时序

时间:2019-03-01 10:39:40

标签: java multithreading parallel-processing java-stream

我有一个计时器类,它捕获我的进程之一的解压缩时间和反序列化时间。我正在使用并行流执行上述操作,并且想知道我所有对象的总解压缩时间和反序列化时间

我正在调用getVersionedRawDealNew(),它会对每笔交易进行解压缩和反序列化。

转换时间比处理我的所有对象的整个方法所需的时间大得多,这似乎是不正确的。如果下面的转换时间计算方式正确,可以让我吗?

    ProcessTimer timer = new ProcessTimer();
    List<VersionedRawDeal> versionedRawDeals = compressedVersionedRawDeals
            .parallelStream()
            .map(vrd -> getVersionedRawDealNew(vrd, timer))
            .collect(Collectors.toList());

    LOGGER.info("Time taken to process zipping : " + timer.getZipTime());
    LOGGER.info("Time taken to process transformation :" + timer.getTransformTime());

// getVersonedRawDealNew方法

private VersionedRawDeal getVersionedRawDealNew(CompressedVersionedRawDeal compressedVerDeal, ProcessTimer timer){
    CompressedRawDeal compressedDeal = compressedVerDeal.rawDeal();
    DealVersion dealVersion = compressedVerDeal.dealVersion();

    long zipStartTime = System.currentTimeMillis();
    final String dealXml = unzip(dealVersion, compressedDeal.getDealXmlBytes());
    long zipTime = System.currentTimeMillis() - zipStartTime;
    timer.addZipTime(zipTime);

    long transformStartTime = System.currentTimeMillis();
    final RawDeal rawDeal = RawDealTransformers.getRawDealTransformerFor(compressedDeal.getSourceSystem())
            .transformDeal(compressedDeal.getSourceEvent(), dealXml);

    long transformTime = System.currentTimeMillis() - transformStartTime;
    timer.addTransformTime(transformTime);
    return ImmutableVersionedRawDeal.builder().dealVersion(dealVersion).rawDeal(rawDeal).build();
}

//处理计时器

public class ProcessTimer {

    private AtomicLong zipTime;
    private AtomicLong transformTime;

    public ProcessTimer(){
        this.zipTime = new AtomicLong();
        this.transformTime = new AtomicLong();
    }

    public void addZipTime(long time){
        this.zipTime.addAndGet(time);
    }

    public void addTransformTime(long time){
        this.transformTime.addAndGet(time);
    }

    public long getZipTime(){
        return zipTime.get();
    }

    public long getTransformTime(){
        return transformTime.get();
    }
}

输出

我没有正确的时间计算,因为我有一个包装以上调用的计时器,即在父方法中,并且运行整个过程所需的时间少于我的转换时间。对于包含解压缩和转换时间的父方法,我的计时器应该大于我的转换时间,不是这种情况。

1 个答案:

答案 0 :(得分:0)

转换时间大于整个方法时间,因为您正在使用并行流来创建并行任务(同时运行的任务)。您可以对同时运行的并行任务的时间求和。

0--------------------------------------------------------  
   |                        |                             |
   |                        |                             | 
   |(1 parallel taks 3sec)  |                             |  
                            | (2 parallel task 4sec)      | 
5---------------------------------------------------------|(the whole metod took 5 sec)

该方法花费了5秒钟,其中一个并行任务花费了3秒钟,第二个任务花费了4秒钟,因此转换时间为7,这比整个方法花费的5秒钟要大。