我遇到一种情况，需要使用sqoop将数据从postgres迁移到hdfs，将该文件复制到s3并创建Hive外部表。 问题正面临着在postgres的几个字段中我在数据中有换行符的问题。我该如何处理才能迁移到HDFS？我知道可以在Hive中完成此操作，但需要在HDFS中完成此操作。
正在寻求帮助。...
答案 0 :(得分：0)
在他们换行符文本字段可由sqoop通过选择而不是文本ORC或阿夫罗文件生成处理。
如果您希望桥接postgres和hdfs以从postgres导入/导出数据，我建议您看看apache spark，特别是spark-postgres库，它支持文本字段中的换行符。