嗨大家好我正在寻找针对我的下列要求的优化方法。
我正在尝试根据通过ODBC连接（来自Vertica）的db表的输出将数据写入文件。但是我们已经指定了文件可以包含的最大行数限制。如果文件的行数多于指定的行数，则必须使用剩余数据创建新文件。
我不确定哪种方法（以下指定）对我的要求有好处。
首先，我将所有数据写入单个文件，然后根据配置中指定的行数限制，我将拆分文件。 （OR）
我将制作一个计数器来计算写入文件的行数，如果计数器超出文件行限制，则会创建另一个包含剩余数据的文件。
注意：我的表中有超过5亿行。
任何建议都会有所帮助！