创建数据集时获取java.lang.IllegalArgumentException

时间:2019-10-08 12:16:06

标签: scala apache-spark apache-spark-sql apache-spark-dataset

我正在使用案例类创建数据集。

case class employee (emp_id: Integer, emp_name: String, job_name: String,manager_id: BigInt, hire_date: java.sql.Date,salary: BigInt,commission:Integer,dep_id:Integer) extends Serializable
val columnNames = classOf[employee].getDeclaredFields.map(x => x.getName)
columnNames: Array[String] = Array(emp_id, emp_name, job_name, manager_id, hire_date, salary, commission, dep_id,$outer)

为什么我在数组中得到这个 $ outer 作为列名。因此,我的数据集无法推断模式。

0 个答案:

没有答案