Question

基因组注释存储在大型纯文本文件中，例如https://www.ebi.ac.uk/ena/data/view/FO203355&display=textc

我想只提取以“FT”开头的行。由于我需要提取数千个这些文件的“FT”，因此下载整个文件并手动提取所需的行是不可行的。

是否有任何终端或python构造可以做到这一点？我最终想要创建一个大型（python）pandas数据帧。

Answer 1

由于您最终打算使用pandas，因此您只需将数据流式传输到脚本并过滤所需的行。最简单的方法是在流模式下使用requests模块，然后将远程数据视为文件流，即：

import requests

url = "https://www.ebi.ac.uk/ena/data/view/FO203355&display=text"

with requests.get(url, stream=True) as r:  # open a streaming request
    for line in r:  # iterate over the stream line by line
        if line[:2] == "FT":  # check if a line begins with `FT`
            print(line)  # or do whatever you want with the line

如果您只想保存数据，可以将过滤后的行转发到文件输出流：

import requests

url = "https://www.ebi.ac.uk/ena/data/view/FO203355&display=text"

with requests.get(url, stream=True) as r, open("output.dat", "w") as f:
    for line in r:  # iterate over the stream line by line
        if line[:2] == "FT":  # check if a line begins with `FT`
            f.write(line)  # write the line to output.dat

您可能希望创建数据框并直接将行解析为数据框，但这取决于您希望如何解析数据，这是我将留给您的练习。

Answer 2

你可以使用curl和grep。除非ebi.ac.uk服务器api提供服务器端过滤，否则您仍然需要下载整个文件。

curl 'https://www.ebi.ac.uk/ena/data/view/FO203355&display=text' | grep '^FT' > lines.txt

仅从在线.txt文件中下载某些行

2 个答案: