我们正在研究Hadoop Map-Reduce以计算分布式图形。该图表表示为邻接列表并存储在文件中。这些文件存储在HDFS上。
任务是读取这些文件并通过群集的不同节点创建内存中的图形，以便可以在内存图形＆＃34;上执行任意数量的查询。查询的示例可以是搜索邻居，遍历等。
我们在节点中创建和存储这些内存中的图时遇到了问题。有人可以帮助我们实现这个目标吗？
编辑：为了更清楚地了解需求，需要构建内存中的图形以减少由于map-reduce期间执行的I / O操作而导致的延迟。这些文件应该只在内存中读取一次并保持不变，以便可以对其进行进一步的计算，而不是从二级存储中读取。