标签: hadoop jdbc teradata data-ingestion
我正在使用jdbc连接器从teradata到Hadoop提取5个表。我已经编写了相同的配置文件。
5个表中的4个能够完美地摄取并且记录计数也匹配。一张桌子根本没有被摄取。该表的计数为5600万(此组中最大),摄取量高达约3500万条记录并突然停止,没有错误消息。即使对于35M记录,也不会在Hadoop中创建该表。这是我通常的摄取方法,没有什么可以出错。
有人可以建议是否可以从Teradata到Hadoop获取的记录数量有限制吗?