标签： mysql json file
我使用elasticsearch来索引某些数据，数据源是可变的，例如txt或sql文件 我认为我应该做的第一步是将所有数据转换为json formate，比如读取txt文件或mysql数据库，然后用json formate将数据写入文件，最后导入数据elasticsearch。 但问题是文件非常大而且耗时很长，例如txt文件将是16GB或者mysql数据库将是50GB。
如果有什么方法可以用来快速读取大型txt文件或数据库？
任何想法都是值得欣赏的......