Question

如何在Spark SQL中进行简单插入？火花2.1

我能够使用Spark.sql在Spark中使用简单的sql代码工作，但是我不可能只插入一个。

  from pyspark.sql import SparkSession
  spark = SparkSession.builder.appName('Basics').getOrCreate()
  df=spark.read.json(/path/.'/people.json')

  df.sow()

  +-----+---------+   
  |age  | name    |
  +-----+---------+
  |null | Michael |
  | 30  | And     |
  +-----+---------+    

 df.CreateOrReplaceTempView('people') # create temp table

 spark.sql("SELECT * FROM people where age == 30")

  +-----+---------+   
  |age  | name    |
  +-----+---------+
  | 30  | Andy    |
  +-----+---------+

所以我了解SQL，但是我不知道谁来插入。

我尝试了所有我想像的方式。

Answer 1

您无需插入数据帧，它们是不可变的并且是惰性的。

您需要创建一个新的数据框，它是原始数据框和您要添加的新数据之间的并集。

使用Spark.sql插入TempView

1 个答案: