我想从我的应用程序直接写入博客存储中的日志文件,然后对这些日志文件运行hive查询。
我认为我可以创建直接使用这些文件的外部hive表。我还需要运行加载步骤,即
LOAD DATA INPATH 'path to the source file' INTO TABLE database name.table name;
在每个配置单元查询运行之前,以便获取新数据。或者查询是否会自动包含从Web应用程序写入日志的新行?
另外,我如何以尊重Hive使用的多个部分文件的方式写入hive连接的日志文件。因此,当我写入日志时,我正在以正确的格式写入正确的日志文件。