如何将SQLite数据库导入Hadoop HDFS

Question

我想将SQLite数据库导入hadoop hdfs。这些数据库来自移动应用数据库，我想每天将多个数据库导入HDFS。

Answer 1

您可以尝试使用 Sqoop 将数据库导入 HDFS 。

试试这个（安装sqoop并进行必要的配置后）：

sqoop import --connect jdbc:sqlite:/path/to/database/databasename.db --table tablename --m 1 --target-dir /directory/name/in/hdfs --driver org.sqlite.JDBC

  

注意：您需要将 sqlite-jdbc-xxxjar 下载并复制到 Sqoop lib 和 Hadoop lib < / strong>文件夹。

您还需要将sqlite-jdbc-x.x.x.jar添加到您的hadoop类路径中（如果您发现class not found错误）。在hadoop-env.sh：

中添加此行

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/full/path/to/sqlite/jar

如果您的/usr/local/sqlite文件夹中有sqlite-jdbc-3.7.2.jar，请按以下方式添加：

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/sqlite/sqlite-jdbc-3.7.2.jar

Answer 2

据说here，sqoop目前不支持SQLite。