专家
对外部表刷新有疑问。我们有一个指向S3文件夹的外部表,并使用Alter命令手动刷新它。 Nifi中有一个进程,它将在S3文件夹中放置一个文件,而在talend中的另一个进程将执行alter命令刷新。
问题这里-在某个时间范围内,Nifi已写入了3个文件,而在写入第四个文件的过程中,当我列出S3时,它将显示4个文件名,但第4个文件仍由Nifi Process写入。在此期间,当我执行alter refresh命令时,会将3个文件刷新到外部表还是4个?第四文件仍未完成。
请分享您的想法,与此同时,我们正计划进行PoC。
谢谢, 戈皮