哪个jar有org.apache.spark.sql.types？

Question

我在Spark 1.x上，并尝试读取csv文件。如果我需要指定一些数据类型，根据documentation，我需要导入包 org.apache.spark.sql.types 中定义的类型。

import org.apache.spark.sql.types.{StructType,StructField,StringType};

当我在spark-shell中以交互方式使用它时这很好用，但是当我想通过spark-submit运行它时，我写了一些Scala代码来执行此操作。但是，当我尝试编译我的Scala代码时，它给出了一个错误，说它无法找到org.apache.spark.sql.types。我查看了spark-sql的jar内容，但是找不到那里定义的这些类型。

那么，哪个jar有org.apache.spark.sql.types？

Answer 1

我查看了GitHub上的source code for spark-sql，意识到这些类型可以在 spark-catalyst jar中找到。这看起来并不直观。

此外，由于StructType有此代码

org.json4s.JsonDSL._

我们最终得到了另一个依赖的jar - json4s-core。