SparkSession throw无法找到或加载主类

Question

我正在使用以下代码

package ConHToLocal
import org.apache.spark.SparkContext
import org.apache.spark.sql
object Test {
  def main(args: Array[String]){
     println("No Error")
  }
}

打印＆＃34;没有错误＆＃34;并且工作正常。如果我在导入部分添加SparkSession以连接HIVE，如下所示：

package ConHToLocal
import org.apache.spark.SparkContext
import org.apache.spark.sql.SparkSession
object Test {
  def main(args: Array[String]){
     println("No Error")
  }
}

我收到错误

Error: Could not find or load main class ConHToLocal.Test

请建议我如何解决此问题。

Answer 1

问题解决方案

1. 肯定是导入jar文件库问题。

2. 请使用maven依赖为spark sql，这里我给出了最新版本。根据您的项目要求，请选择相应的 spark sql 版本。

   import org.apache.spark.sql.functions._
   
   ...
   
   val timestampedDf = dropnullfields3.toDF().withColumn("TimeStamp", current_timestamp())
   val timestamped4 = DynamicFrame(timestampedDf, glueContext)
   

3. 尝试从IDE重新运行scala应用程序。