如何克服火花“无法解析主URL”的错误？

Question

我在Mac上的IntelliJ IDEA中有以下简单代码：

   2016-06-09
   2016-06-10

在我的运行配置中，我添加了以下程序参数：

2016-06-09

当我运行此代码时，出现以下错误：

2016-06-10

我该怎么做才能克服这个错误？

Answer 1

InetlliJ IDEA + MAC + SPARK

在任何一步之后让智能准备就绪，因为从某个时候拉出maven会很慢

IntelliJ设置

1. 从Preferences > Plugins > Scala
安装Scala插件
2. File > New > Project，在左侧窗格中选择Scala，在右侧窗格中选择SBT
3. 右键单击项目名称＆gt; Open Module Settings＆gt; Libraries
4. 按下+模块图标＆gt; Maven＆gt; org.apache.spark:spark-core_2.11:1.6.1＆gt; Enter
5. 将库添加到project name
6. Spark库应出现在“外部库”部分
下
7. scala file 中的新src/main/scala例如。 Test.scala

Test.scala

import org.apache.spark.{SparkContext,SparkConf}

object Test {
 def main(args: Array[String]){
 val conf = new SparkConf().setAppName("DevDemo").setMaster("local")
 val sc = new SparkContext(conf)
 val inputFile = sc.textFile("/var/log/fsck_hfs.log").cache()
// Creates a DataFrame having a single column named "line"
 val errAs = inputFile.filter(line => line.contains("ERROR"))
 println("Error count : %s".format(errAs.count()))
 }
}

的IntelliJ

Run Menu＆gt; Run

结果：＆lt;＆lt;＆lt;＆lt;剪断

16/06/13 14:39:19 INFO DAGScheduler: ResultStage 0 (count at Test.scala:14) finished in 1.258 s
16/06/13 14:39:19 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool 
16/06/13 14:39:19 INFO DAGScheduler: Job 0 finished: count at Test.scala:14, took 1.829030 s
Error count : 18

Answer 2

您应该尝试以下行

val sc =新的SparkContext（conf = conf）