我正在尝试使用spark_read_text将一个巨大的文本文件读取到Spark中,并且将定界符和标头作为true传递,但该文件被读为一列,并且同名被添加为行。
test <-spark_read_text(conn,name =“ test”,path =“ file:///test.txt”,标头= TRUE,分隔符=“〜”)
然后我尝试先将文本文件转换为csv,然后使用spark_read_csv读取它,因为它具有定界符和标头参数。但是由于文件很大,我无法将文本转换为csv。
我还尝试查看spark_load_table和其他函数,但是它们没有定界符或标头参数。
有什么建议吗?