我在angular 4
应用程序中使用uploader
。
我希望验证并在选择非预期类型的文件时抛出错误,我可以使用onWhenAddingFileFailed()
内置函数val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._
import org.apache.spark.{ SparkConf, SparkContext }
import java.sql.{Date, Timestamp}
import org.apache.spark.sql.Row
import org.apache.spark.sql.types._
import org.apache.spark.sql.functions.udf
import org.apache.spark.sql.functions.input_file_name
import org.apache.spark.sql.functions.regexp_extract
spark.udf.register("get_cus_val", (filePath: String) => filePath.split("\\.")(4))
val df = sqlContext.read.format("csv").option("header", "true").option("delimiter", "|").option("inferSchema","true").load("s3://trfsdisu/SPARK/FinancialLineItem/MAIN")
val df1With_ = df.toDF(df.columns.map(_.replace(".", "_")): _*)
val column_to_keep = df1With_.columns.filter(v => (!v.contains("^") && !v.contains("!") && !v.contains("_c"))).toSeq
val df1result = df1With_.select(column_to_keep.head, column_to_keep.tail: _*)
df1result.withColumn("DataPartition", get_cus_val(input_file_name)).show()
来实现。
但是文件名将保留在UI中,尽管它无法上传。
请参考下面的截图。如果有一个修复可以用Angular方式完成而不试图找到DOM元素并修改值,请告诉我。