我们必须在Spark中使用日语数据的哪种编码/字符集？

Question

我正在尝试加载所有国家/地区数据格式，目前，我已经使用日语数据通过spark进行加载。我能够加载数据，并且在显示数据时，在数据中出现了问号。请帮助我我必须使用哪个字符集。

我正在Windows上使用Spark 2.3.1和scala 2.11.8版本。

这是我的代码：

val df = spark.read.format("csv").option("header","true").option("charset","UTF-8")
  .option("inferSchema","true").load("c:\\data\\japan.csv")

val resdata = spark.sql("select * from rxdata").show()

在这里，我的数据中出现问号。请找到屏幕截图。

Japan data charset issue

我必须使用哪个字符集？非常感谢。