Question

我想了解如何使用Spark-GraphX但总是有一些问题，所以也许有人可以建议我读什么等等。我试着阅读Spark文档和学习Spark - O＆＃39; Reilly Media的书，但无法找到任何解释我们需要多少内存来处理不同大小的网络等。

对于我的测试，我使用了几个示例数据集。我在Spark shell的1个主节点（~16Gb RAM）上运行它们：

./bin/spark-shell --master spark://192.168.0.12:7077 --executor-memory 2900m --driver-memory 10g

3-5名工人（每1台独立机器有1名工人，有4Gb RAM）：

./bin/spark-class org.apache.spark.deploy.worker.Worker spark://192.168.0.12:7077

然后从Spark Shell我运行我的scala脚本（未编译）：

:load /home/ubuntu/spark-1.2.1/bin/script.scala

我还没有使用HDFS，只是将数据集文件复制到每台机器上（当然路径名相同）。在zachary俱乐部等小型网络上，甚至更大的~256 Mb网络（增加驱动程序内存参数后），我可以计算三角形，楔形等。

现在尝试处理750多个Mb网络并出现错误。例如，我有维基百科链接数据集，格式为2列（link_from link_to），750Mb。尝试加载它：

val graph = GraphLoader.edgeListFile(sc, "graphx/data/dbpidia")

并收到错误：

[Stage 0:==============================================>     (22 + 1) / 23]
15/04/30 22:52:46 WARN TaskSetManager: Lost task 22.0 in stage 0.0 (TID 22, host-192-168-0-18.openstacklocal): java.lang.ArrayIndexOutOfBoundsException: 1
at org.apache.spark.graphx.GraphLoader$$anonfun$1$$anonfun$apply$1.apply(GraphLoader.scala:83)
at org.apache.spark.graphx.GraphLoader$$anonfun$1$$anonfun$apply$1.apply(GraphLoader.scala:76)
at scala.collection.Iterator$class.foreach(Iterator.scala:727)
at scala.collection.AbstractIterator.foreach(Iterator.scala:1157)
at org.apache.spark.graphx.GraphLoader$$anonfun$1.apply(GraphLoader.scala:76)
at org.apache.spark.graphx.GraphLoader$$anonfun$1.apply(GraphLoader.scala:74)
at org.apache.spark.rdd.RDD$$anonfun$15.apply(RDD.scala:631)
at org.apache.spark.rdd.RDD$$anonfun$15.apply(RDD.scala:631)
at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:35)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:280)
at org.apache.spark.CacheManager.getOrCompute(CacheManager.scala:61)
at org.apache.spark.rdd.RDD.iterator(RDD.scala:245)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:61)
at org.apache.spark.scheduler.Task.run(Task.scala:56)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:200)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
15/04/30 22:52:47 WARN TaskSetManager: Lost task 22.2 in stage 0.0 (TID 24, host-192-168-0-18.openstacklocal): java.lang.ArrayIndexOutOfBoundsException

实际上我需要处理大小为＆gt;＆gt; 1Tb的数据集，但即使在较小的数据集上也会出错。我究竟做错了什么？内存限制是多少？你可以为＆gt;＆gt;＆gt; 1Tb文件提出什么策略，如何更好地存储它们？感谢。

Answer 1

这可能是GraphX的错误

https://issues.apache.org/jira/browse/SPARK-5480

我和你的问题一样。它适用于小型数据集。当数据大小变大时，spark会抛出ArrayIndexOutOfBoundsException错误

Apache Spark GraphX java.lang.ArrayIndexOutOfBoundsException

1 个答案: