将CSV文件加载到Apache Phoenix表并记录无效数据行

时间:2019-07-08 20:43:47

标签: apache csv logging load phoenix

我按照下面的链接说明使用MapReduce将csv数据加载到Phoenix数据中。 https://phoenix.apache.org/bulk_dataload.html

我成功加载了一个小文件。但是,当我尝试加载数百万个记录的文件时,出现“非法数据”错误,并且未加载任何记录。然后,我使用“ --ignore-errors”选项绕过了错误,并加载了文件,并且正如我所期望的那样,并非所有记录都是根据表记录计数来加载的。

我读到某处Phoenix或HBase被严重记录。我想知道是否记录了这些错误,或者我需要做一些Phoenix配置才能启用日志记录。

此外,以上页面还简要介绍了该工具-org.apache.phoenix.mapreduce.CsvBulkLoadTool。在哪里可以找到完整的文档?

0 个答案:

没有答案