使用bash脚本在数百万列中的子集列

时间:2016-02-16 23:23:23

标签: shell bigdata

我有一张巨大的桌子,有13行,超过1亿列。我将从那些列中选择1000万列。我知道要选择的列的索引。我可以通过bash脚本实现这个目标吗?

任何建议都表示赞赏。

1 个答案:

答案 0 :(得分:0)

是。 awk 排序,以及各种其他基本UNIX命令都具有列选择功能。根据您的表格格式,参数化正则表达式可能是最有效的解决方案。

详细信息取决于您所需的输入和输出格式。数据行的大小表示流水线应用程序而不是逐行处理器。

我希望这能让你开始编写代码。