从服务器读取一个巨大的文件。

时间:2012-08-28 17:45:43

标签: python shell unix

所以我是这个领域的新手,我不知道该怎么做!!但基本上这就是我所做的。

我向某些人捣乱。

ssh hostname
username: foo
password: bar

在其中一个目录中,有一个巨大的csv文件.. abc.csv

现在,我不想将该文件复制到我的本地..但是从那里阅读。

当我问周围的人时,他们说我可以编写一个unix脚本并从tehre获取我的python程序中的数据。 我不确定这意味着什么? 有线索吗? 此外,我正在使用Windows环境。 感谢

2 个答案:

答案 0 :(得分:1)

远程命令的标准输出传递给ssh进程的标准输出。如果脚本从标准输入中读取文件,则可以尝试

ssh user@hostname 'cat abc.csv' | python myScript.py

答案 1 :(得分:1)

您可以在Linux服务器上运行python脚本。

或者你可以subprocess.Popen一个Cygwin ssh(无密码,无密码验证)并将其视为Windows系统上的文件。 cygwin ssh可以运行“ssh linux.server.com cat my-file.csv”,然后在python的windows系统上逐行读取内容。

http://stromberg.dnsalias.org/~strombrg/ssh-keys.html