spark_read_parquet（）中的模式选项

Question

我对R和火花很新。我想用以下代码阅读镶木地板文件。任何人都知道如何在那里指定架构？

php artisan config:clear

我查看了链接https://spark.rstudio.com/reference/spark_read_parquet/，没有关于如何在函数中设置架构以优化它的任何细节或示例。

Answer 1

如果您只是想读取镶木地板文件，则不需要使用架构，它只是一个可用选项。以下代码应该可以使用。

df <- spark_read_parquet(sc,
                 "name",
                 "path/to/the/file",
                  repartition = 0,
                  schema = Null)

但是如果你想使用一个模式，有很多选择，选择正确的模式取决于你的数据以及你使用它的内容。但是，尝试在没有架构选项的情况下运行代码，看看它是否适用于您的数据。

Answer 2

尝试

tbl_change_db(sc, "dbName")

如果您使用的是RStudio，请点击代码段右上角的

部分的刷新按钮