我正在使用维基百科数据集来执行mapreduce。我使用的数据集是来自here的（维基百科Wiki命名空间）。 bz2文件中的数据就像这样
REVISION 724 234015 Wikipedia:Adding_Wikipedia_articles_to_Nupedia 2001-03-28T22:33:49Z ip:Larry_Sanger ip:Larry_Sanger
CATEGORY
IMAGE
MAIN Larry_Sanger LMS Adding_Nupedia_articles_to_Wikipedia Jimbo_Wales Nupedia Wikipedia
TALK
USER
USER_TALK
OTHER
EXTERNAL http://www.nupedia.com/write.shtml http://www.nupedia.com/policy.shtml http://www.nupedia.com/newsystem/signup.phtml http://www.nupedia.com/newsystem/writearticle.phtml?instr=on http://www.nupedia.com/editors.phtml
TEMPLATE
COMMENT *
MINOR 0
TEXTDATA 685
REVISION 724 431753 Wikipedia:Adding_Wikipedia_articles_to_Nupedia 2002-05-19T17:36:09Z Eclecticology 372
CATEGORY
IMAGE
MAIN Larry_Sanger LMS LMS Adding_Nupedia_articles_to_Wikipedia Jimbo_Wales Nupedia Wikipedia Mores Adding_Wikipedia_articles_to_Nupedia/Help
TALK
USER
USER_TALK
OTHER
EXTERNAL http://www.nupedia.com/write.shtml http://www.nupedia.com/policy.shtml http://chalkboard.nupedia.com http://www.nupedia.com/newsystem/signup.phtml http://www.nupedia.com/newsystem/writearticle.phtml?instr=on http://www.nupedia.com/editors.phtml
TEMPLATE
COMMENT "mores" linked; -/Talk
MINOR 1
TEXTDATA 738
基本上我想将每个修订转换为一行，以便包含所有其他详细信息的一组修订在一行中。我尝试过类似于this的内容，但它不起作用。有人可以指导我如何去做吗？
答案 0 :(得分：0)
预处理数据的最简单（可能不是最优雅）方式。根据您的链接，我们谈论的是18GB的可行性。 无论如何，你必须将数据与模式分开（似乎数据也包含字段名称）。
为此类数据编写自己的加载程序的更好解决方案。 在这里，您将找到一些示例项目和教程http://help.mortardata.com/technologies/pig/write_your_own