如何打开大（10gb +）文本文件并进行编辑

Question

我有大的.txt文件，超过10GB 我应该打开这个文件并制作简单的版本： - 删除重复的行 - 拆分此文件（如5x2gb文件）

我需要什么软件？ Windows pref ...但如果不可能，Linux也可以很棒。 谢谢！

Answer 1

    EmEditor

在Windows上，您可以安装名为＆＃34; EmEditor＆＃34;的应用程序。

此应用程序可以打开大文件。它是一个许可的应用程序，但您可以使用它一个月的试用期。进行更改和卸载。

我遇到过这个问题，我无法编辑一个大的4GB .sql文件。这个工具编辑器是唯一可以完成工作的编辑器。

Answer 2

在Windows中不确定，但在Linux中，您可以使用grep，awk和sed的组合。尝试在SO中找到它们。您可以参考下面的查询。 Basic grep/sed/awk script to find duplicates

至于分割，您可以尝试使用How to split one text file into multiple *.txt files?

Answer 3

您可以使用Vim或Emacs

来实现此目的

我建议使用Vim，因为它包含Git bash

你用：q 退出Vim 如果缓冲区已更改，则可以退出而不使用：q！

进行保存

如果Vim不适合您，请查看this answer和this链接，这些链接中的编辑可能更适合您。

Vim CheatSheet

Removing duplicated lines using Vim

Split file using Vim (vi.stackexchange.com)

Answer 4

我建议您使用010 editor。我已经编辑了40GB的文件。它像一种魅力。