55 gig - 逗号分隔文件 - 读入mysql DB

Question

有关如何打开此文件的任何想法？

我对此文件的大小没有任何选择。

其常规文本数据

我无法分解文件的原因是因为它是远程存储的，我能做的唯一事情是运行sql语句

请帮忙！

Answer 1

对于Windows，有一个名为“thegun”的旧应用程序可以打开任何大小的文件。 在linux / mac下你有/ head / tail你甚至可以使用“dd”。

Answer 2

您可以使用哪些协议打开文件？

55G文件听起来不太糟糕，您可以下载并在本地处理它吗？

显然，如果数据提供商制作更小的文件会更好;一个非常大的文件很难处理。

我可能会建议使用rsync（如果可以的话），因为如果传输失败，它将启用恢复（如果它来自远程站点，我猜需要花费几个小时）。

这些文件生成的频率是多少？你能让派对产生它们来创造增量吗？这可能是处理它的更好方法（假设数据不是每次都是全新的）

Answer 3

您在寻找LOAD DATA INFILE吗？

Answer 4

下载文件后，您可能需要考虑将其拆分为更易于管理的块。

当然，你最终可能会有数百个文件，当然，存在分割文件中间记录的风险，但是，嘿，这是一个选择！

快速搜索产生以下链接here，并提供逐步说明。该链接提到它支持拆分非常大的文件（> 4GB），引起了我的注意。