Question

我有大约300个文本文件，其中包含跟踪器，种子和同伴的数据。每个文件的组织方式如下：

tracker.txt

time torrent
    time peer
    time peer
    ...
time torrent
...

每个跟踪器都有几个文件，大部分信息都会重复（相同的信息，不同的时间）。

我希望能够分析我所拥有的内容并报告

之类的统计数据

每个跟踪器有多少种子
在
洪流有多少同伴
同伴有多少种子

大量的数据让我很难接受。这是我尝试过的。

的MySQL

我将所有内容都放入数据库中;每个实体类型一个表和用于保存关系的表（例如，此torrent位于此跟踪器上）。

将信息添加到数据库的速度很慢（当我尝试这个时，我没有13GB的信息），但之后分析这些关系是不行的。每个稍微复杂的查询都需要24小时才能完成（如果有的话）。

示例查询将是：

SELECT COUNT(DISTINCT torrent) 
    FROM TorrentAtPeer, Peer 
    WHERE TorrentAtPeer.peer = Peer.id 
    GROUP BY Peer.ip;

我尝试在我的my.cnf文件中增加内存分配，但似乎没有帮助。我使用了my-innodb-heavy-4G.cnf设置文件。

编辑：添加表格详细信息

这是我正在使用的：

Peer         Torrent                  Tracker        
-----------  -----------------------  ------------------  
id (bigint)  id (bigint)              id (bigint)
ip* (int)    infohash* (varchar(40))  url (varchar(255))
port (int)

TorrentAtPeer      TorrentAtTracker
-----------------  ----------------
id (bigint)        id (bigint)
torrent* (bigint)  torrent* (bigint)
peer* (bigint)     tracker* (bigint)
time (int)         time (int)

*indexed field. Navicat reports them as being of normal type and Btree method.
id - Always the primary key

没有外键。我有信心只能使用与现有实体相对应的ID，添加外键检查似乎是一种不必要的延迟。这是天真的吗？

Matlab的

这看起来像是为一些繁重的工作而设计的应用程序，但是我无法分配足够的内存来一次性保存所有数据。

我没有数字数据所以我使用的是单元格数组，我从这些数据移动到尝试以减少占用空间。我无法让它发挥作用。

爪哇

迄今为止我最成功的尝试。我发现Limewire的人们提供了Patricia Tries的实现。使用这个我能够读入数据并计算我有多少独特的实体：

13个跟踪器
1.7mil种子
32mil同行

我仍然觉得很难弄清楚同龄人的种子数量。我试图通过构建这样的尝试来实现这一目标：

Trie<String, Trie<String, Object>> peers = new Trie<String, Trie<String, Object>>(...);
for (String line : file) {
    if (containsTorrent(line)) {
        infohash = getInfohash(line);
    }
    else if (containsPeer(line)) {
        Trie<String, Object> torrents = peers.get(getPeer(line));
        torrents.put(infohash, null);
    }
}

从我迄今为止所能做到的，如果我能够建立peers trie，那么我可以很容易地找出每个同伴有多少种子。我昨天运行了所有内容，当我回来时，我注意到日志文件没有被写入，我^Z应用程序和time报告了以下内容：

real 565m41.479s
user 0m0.001s
sys  0m0.019s

如果用户和系统如此之低，这对我来说不合适？我应该提一下，我还将JVM的堆大小增加到7GB（最大值和启动量），没有这样我很快就会出现内存不足错误。

我不介意等待几个小时/天，但看起来这件事在大约10个小时后就停止了。

我想我的问题是，我该如何分析这些数据呢？我尝试过的东西是正确的吗？有什么我想念的吗？到目前为止，Java解决方案似乎是最好的，有什么办法可以让它工作吗？

Answer 1

您声明您的MySQL查询花了太长时间。您是否确保有适当的索引来支持您提交的请求？在您的示例中，这将是Peer.ip（甚至是嵌套索引(Peer.ip,Peer.id)）的索引和TorrentAtPeer.peer的索引。

据我了解Java结果，你有很多数据，但没有那么多不同的字符串。所以你可以通过为每个跟踪器，torrent和peer分配一个唯一的号码来节省一些时间。每个表使用一个表，其中一些索引值保存字符串，数字主键作为id。这样，与这些实体相关的所有表格只需要处理这些数字，这可以节省大量空间并使您的操作更快。

Answer 2

我会给MySQL另一个尝试，但使用不同的架构：

此处不使用id-columns
在这里使用自然主键：

同行：ip，端口
Torrent ：infohash
跟踪器：网址 TorrentPeer ：peer_ip，torrent_infohash，peer_port，时间
TorrentTracker ：tracker_url，torrent_infohash，time
对所有表使用innoDB引擎

这有几个好处：

InnoDB使用聚簇索引作为主键。意味着当您仅从主键列请求数据时，可以直接从索引检索所有数据而无需额外查找。所以InnoDB表是一些索引组织的表。
较小的尺寸，因为您不必存储代理键。 - ＆GT;速度，因为相同结果的IO较小。
您可以在不使用（昂贵）连接的情况下立即执行某些查询，因为您使用自然的主键和外键。例如，链接表TorrentAtPeer直接包含peer ip作为对等表的外键。如果您需要查询子网中对等体使用的种子，您现在可以在不使用连接的情况下执行此操作，因为所有相关数据都在链接表中。

如果你想要每个对等体的种子数量，并且你想要结果中的对等体ip，那么我们在这里使用自然主/外键时再次具有优势。

使用您的架构，您必须加入以检索IP：

SELECT Peer.ip, COUNT(DISTINCT torrent) 
    FROM TorrentAtPeer, Peer 
    WHERE TorrentAtPeer.peer = Peer.id 
    GROUP BY Peer.ip;

使用自然的主键/外键：

SELECT peer_ip, COUNT(DISTINCT torrent) 
    FROM TorrentAtPeer 
    GROUP BY peer_ip;

修改好吧，原始发布的架构不是真正的架构。现在Peer表格有一个port字段。我建议在这里使用主键（ip，port）并仍然删除id列。这也意味着链接表需要具有多列外键。调整答案......

Answer 3

如果你可以使用C ++，你应该看看Boost flyweight。

使用flyweight，您可以像编写字符串一样编写代码，但字符串的每个实例（您的跟踪器名称等）仅使用指针的大小。

无论语言如何，您都应该将IP地址转换为int（请查看this question）以节省更多内存。

Answer 4

您很可能遇到可以通过NOSQL和分布式技术解决的问题。

i）我会使用Hadoop / HBase编写分布式系统。

ii）租用几十台/百台AWS机器，但仅持续几秒钟（它仍然会花费不到0.50美元）

iii）利润!!!

如何分析~13GB的数据？

4 个答案: