R是并发修改为大数据。表或数据帧是否可接受?

时间:2018-04-14 00:54:58

标签: r windows multithreading dataframe data.table

想象一下12mm Data.Table。

我想

  1. 使用复杂算法创建新列并使用仅来自行的数据计算新值。

  2. 将12毫米的行分成1毫米的部分,并且每个12x 1毫米块(每个12核1毫米CPU)有1个CPU线程处理。

  3. 这意味着12个线程将遍历其data.table部分,从一行读取数据,计算一个值并将其存储在该行的不同列中。

    注意:

    • 在多线程
    • 之前创建新列
    • 每个线程都通过索引
    • 访问data.table的不同部分
    • 该功能过于复杂,无法采用其他方式
    • 现在处理顺序通过data.table,只使用一个CPU线程并运行其他3个小时。
    问:使用复杂函数增加12mm行的“同一台机器”并发性有什么更好的方法? 问:这种情况有什么问题?

0 个答案:

没有答案