如何使用sqoop从MySQL数据库导入Datastax DSE Hive?

时间:2014-12-29 22:39:21

标签: sqoop datastax-enterprise datastax

我花了一整个下午的时间试图围绕如何利用dse sqoop将表从MySQL导入Hive / Shark。就我而言,我对将表格导入Cassandra persé并不感兴趣。 Hive / Shark会这样做。

AFAIK,这应该是可能的,因为dse sqoop import help给了我创建Hive表的选项。我一直试图执行与http://www.datastax.com/documentation/datastax_enterprise/4.5/datastax_enterprise/ana/anaSqpImport.html非常相似的东西,除非我似乎无法获得Cassandra用户名/密码凭证。

这可能吗?怎么样?我是否必须通过CQL表?

我正在运行DSE 4.5。

1 个答案:

答案 0 :(得分:1)

听起来你正试图在这个套牌中做类似于幻灯片47的事情: http://www.slideshare.net/planetcassandra/escape-from-hadoop

Russell使用的策略是使用spark mysql驱动程序,无需处理Sqoop。您必须将依赖项添加到spark类路径才能使其正常工作。无需通过CQL表。

然后你可以加入c *数据,把数据写入c *等