将ORC数据文件附加到Vora表是否有大小限制

Question

我在Vora 1.3中创建了一个Vora表，并尝试从我从SAP BW归档过程（Hadoop上的NLS）获得的ORC文件中将数据附加到该表。我有20个文件，总共包含大约50个Mio记录。

当我尝试将APPEND语句中的“files”设置用作“/ path / *”时，大约1小时后Vora返回此错误消息：

com.sap.spark.vora.client.VoraClientException: Could not load table F002_5F: [Vora [eba156.extendtec.com.au:42681.1640438]] java.lang.RuntimeException: Wrong magic number in response, expected: 0x56320170, actual: 0x00000000. An unsuccessful attempt to load a table might lead to an inconsistent table state. Please drop the table and re-create it if necessary. with error code 0, status ERROR_STATUS

我尝试的下一件事是使用单独的APPEND语句附加每个文件中的数据。在15日追加（20）我收到了同样的错误信息。

Answer 1

错误表示节点eba156.extendtec.com.au上的Vora引擎不可用。我怀疑它要么崩溃，要么遇到内存不足的情况。

您可以在日志目录中查看故障转储。如果您找到了，请打开客户留言进行进一步调查。

如果找不到崩溃转储，则可能是内存不足的情况。您应该在引擎日志文件或/ var / log / messages中找到确认（如果oom杀手结束了该过程）。在这种情况下，可用内存不足以加载数据。