为apriori处理大数据

Question

我正试图从arules包中运行apriori并遇到内存问题。到目前为止，我可以读取数据并将其拆分为正确的格式以进行篮子分析，但是当我尝试将数据转换为事务类型时，由于大小（大约800,000行）而出现错误。 / p>

是否有任何软件包可以帮助我处理这些数据的大小？

    $data = array(); //array declaration 
    $data['message1'] = 'Save Corner Information Successfully !'; //put data on variable 'message1'
    $data['message2'] = 'Save Corner Information Successfully !'; 
    $data['message3'] = 'Save Corner Information Successfully !'; 

我已经坚持了一个星期了，所以任何建议都会非常感激。

Answer 1

这取决于您拥有的项目数（列数）以及数据的稀疏程度（每个事务的项目数）。 arules中的apriori实现要求所有事务都驻留在主内存中。如果您可以读入数据但是（数据，“事务”）失败，那么您可以尝试直接从包Matrix创建稀疏ngCMatrix并使用它来创建itemMatrix（这基本上就是事务）。

见

R> class? ngCMatrix
R> class? itemMatrix
R> class? transactions

不幸的是，这有点痛苦。