Question

您好我是Spark的新手。我正在尝试在Apache Spark scala命令行上执行以下命令

        scala> val files=sc.textFile("/home/test/u.item")
               14/12/06 09:57:40 INFO MemoryStore: ensureFreeSpace(165239) called with 
               curMem=0, maxMem=278302556
               14/12/06 09:57:40 INFO MemoryStore: Block broadcast_0 stored as values in 
               memory (estimated size 161.4 KB, free 265.3 MB)
               files: org.apache.spark.rdd.RDD[String] = /home/test/u.item MappedRDD[1] at
               textFile at :12

请知道纠正上述错误的步骤

Answer 1

这不是错误消息。 log4j将其记录为INFO消息（请参阅下面的INFO字符串，介于2星之间）。如果是错误，则会出现ERROR级别（WARN警告）。当您调用上下文的 textFile 方法时，您的输出是预期的。如果您只想记录警告和错误，我建议您将 log4j.properties 中的级别更改为WARN。

14/12/06 09:57:40 **INFO** MemoryStore: ensureFreeSpace(165239) called with 
           curMem=0, maxMem=278302556
14/12/06 09:57:40 **INFO** MemoryStore: Block broadcast_0 stored as values in 
           memory (estimated size 161.4 KB, free 265.3 MB)

我不是Spark的专家，但我认为ensureFreeSpace是一个由MemoryStore调用的函数，用于检索Spark Context活动的内存。

Answer 2

正如MiguelPeralvo所说，log4j.properties中的级别可以更改为WARN。为此，请转到spark目录中的conf文件夹。如果log4j.properties不存在，请从该目录中的模板中进行设置。

cp log4j.properties.template log4j.properties

然后在编辑器中打开log4j.properties并将第一行更改为

log4j.rootCategory=WARN, console

重启spark并且INFO消息应该消失。

Spark Memory问题

2 个答案: