无法写入pyspark中的镶木地板文件

时间:2018-06-22 10:09:41

标签: pyspark

我正在尝试将'pyspark.sql.dataframe.DataFrame'写入镶木地板文件。

我的代码是-

const arr = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10];
const arrObservable$ = from(arr);
 arrObservable$
 .pipe(mergeMap(x => this.http.get('https://jsonplaceholder.typicode.com/posts')))
 .subscribe(x => console.log(x));

但是出现以下错误。我无法找到造成这种情况的原因。此错误的原因可能是什么?该文件夹具有写权限。

from pyspark import sql
import json
from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext('local')
spark = SparkSession(sc)

from pyspark.sql import functions as F
daf=spark.read.json('C:/Users//rr3628911523729/Downloads/JSONS/people.json', multiLine=True)
print type(daf)
daf.write.parquet("E:/hi",mode='overwrite')

0 个答案:

没有答案