Spark CSV:将数据插入现有表而不更改特定col

时间:2017-07-05 13:31:48

标签: csv apache-spark cassandra

我想从每周公布的csv文件更新我的数据库。 到目前为止,我已经设法将csv文件插入到我的数据库中。

我的问题,我还有两个我不想碰的专栏。一个来自不同的CSV文件,另一个来自Solr_query。

那么如何忽略这两列呢?

示例(CSV文件):

<local:TextControl Input0="is" Input1="formatted" ResourceString="This {0} indeed a {1} string." />

示例(表1我所拥有的):

FirstName;Lastname;City
Peter;Johns;New York

示例(表2我想要的那个)

FirsName-Lastname-City

我的代码:

FisrtName-Lastname-City-Age-SolrQuery

当我有3列时,它工作正常但不是我的表有5列 我该怎么办?

1 个答案:

答案 0 :(得分:0)

查询中可以包含具有空值的其他列:

query = "select firstname, lastname, city, null as Age, null as SolrQuery from mytable"