如何通过spark读取几列elasticsearch？

Question

在es群集中，它有一个大规模的数据，我们使用spark来计算数据但是elasticsearch-hadoop，然后是https://www.elastic.co/guide/en/elasticsearch/hadoop/current/spark.html

我们必须读取索引的完整列。有什么有用的吗？

Answer 1

是的，您可以分别设置配置参数“es.read.field.include”或“es.read.field.exclude”。详细信息here。假设Spark 2或更高版本的示例。

val sparkSession:SparkSession = SparkSession
  .builder()
  .appName("jobName")
  .config("es.nodes", "elastichostc1n1.example.com")
  .config("es.read.field.include", "foo,bar")
  .getOrCreate()