在R中使用分隔符读取Spark中的文本文件

时间:2019-11-20 17:52:39

标签: apache-spark sparklyr

我正在尝试使用spark_read_text将一个巨大的文本文件读取到Spark中,并且将定界符和标头作为true传递,但该文件被读为一列,并且同名被添加为行。

test <-spark_read_text(conn,name =“ test”,path =“ file:///test.txt”,标头= TRUE,分隔符=“〜”)

然后我尝试先将文本文件转换为csv,然后使用spark_read_csv读取它,因为它具有定界符和标头参数。但是由于文件很大,我无法将文本转换为csv。

我还尝试查看spark_load_table和其他函数,但是它们没有定界符或标头参数。

有什么建议吗?

0 个答案:

没有答案